Kami baru saja menyelesaikan pra-pelatihan LLM terdesentralisasi terbesar dalam sejarah: Covenant-72B. Tanpa izin, di subnet Bittensor 3. Parameter 72B. ~1,1 T token. Internet komoditas. Tidak ada kluster terpusat. Tidak ada daftar putih. Siapa pun yang memiliki GPU dapat bergabung atau keluar dengan bebas. 1/n

Jumat ini di TGIF, @DistStateAndMe duduk bersama @erfan_mhi, peneliti utama di balik PULSE. Makalah PULSE menunjukkan bagaimana Grail mencapai pengurangan bandwidth 100x untuk sinkronisasi berat dalam pelatihan RL terdistribusi. Itulah yang membuat pembelajaran penguatan terdesentralisasi praktis melalui internet komoditas. Erfan akan membahas apa arti penelitian ini untuk peta jalan Grail dan ke mana subnet pergi dari sini.

TGIF #23 tayang dalam 5 menit. Perang Salib ditayangkan bersama kami. @DistStateAndMe dan Kevin dari @HackQuest_ di @opentensor Subnet Ideathon.