Otwarte wagi to nie to samo co otwarte szkolenie. @AddieF38654 z naszego zespołu opisała swoje doświadczenia związane z próbą post-szkolenia modelu MoE o 1T parametrach, korzystając z istniejącej infrastruktury open source. Sprawdźmy, ile monkey-patchy potrzeba, aby post-szkolić model z otwartymi wagami. Wątek🧵