Wir haben gerade den größten dezentralisierten LLM-Vortraining-Lauf in der Geschichte abgeschlossen: Covenant-72B. Erlaubenlos, im Bittensor-Subnetz 3. 72B Parameter. ~1,1T Tokens. Commodity-Internet. Kein zentralisierter Cluster. Keine Whitelist. Jeder mit GPUs konnte frei beitreten oder gehen. 1/n

Diesen Freitag bei TGIF setzt sich @DistStateAndMe mit @erfan_mhi, dem leitenden Forscher hinter PULSE, zusammen. Das PULSE-Papier zeigt, wie Grail eine 100-fache Bandbreitenreduktion für die Gewichtssynchronisation im verteilten RL-Training erreicht. Das ist es, was dezentrales Reinforcement Learning über das herkömmliche Internet praktikabel macht. Erfan wird erläutern, was diese Forschung für den Fahrplan von Grail bedeutet und wohin das Subnetz von hier aus geht.

TGIF #23 geht in 5 Minuten live. Die Kreuzzüge gehen mit uns live. @DistStateAndMe und Kevin von @HackQuest_ beim @opentensor Subnet Ideathon.