Właśnie zakończyliśmy największy w historii zdecentralizowany bieg wstępnego szkolenia LLM: Covenant-72B. Bez zezwoleń, w sieci Bittensor subnet 3. 72B parametrów. ~1,1T tokenów. Internet towarowy. Brak scentralizowanego klastra. Brak białej listy. Każdy z GPU mógł dołączyć lub odejść swobodnie. 1/n

W ten piątek w TGIF, @DistStateAndMe rozmawia z @erfan_mhi, głównym badaczem stojącym za PULSE. Dokument PULSE pokazuje, jak Grail osiąga 100-krotne zmniejszenie przepustowości dla synchronizacji wag w rozproszonym treningu RL. To sprawia, że zdecentralizowane uczenie przez wzmocnienie jest praktyczne w porównaniu do zwykłego internetu. Erfan omówi, co to badanie oznacza dla planu rozwoju Grail i dokąd zmierza subnet od tego momentu.

TGIF #23 zaczyna się za 5 minut. Krucjaty startują z nami. @DistStateAndMe i Kevin z @HackQuest_ na @opentensor Subnet Ideathon.