私たちは史上最大の分散型LLM事前訓練ラン、Covenant-72Bをちょうど完了しました。Bittensorサブネット3上で許可不要です。 72Bパラメータ。~1.1Tトークン。商品インターネット。中央集権的なクラスターもありません。ホワイトリストもありません。GPUを持っている人なら誰でも自由に参加・退出できました。 1/n

今週金曜日のTGIFでは、@DistStateAndMe PULSEのリードリサーチャーである@erfan_mhiに対談します。 PULSEの論文は、Grailが分散型強化学習(RL)トレーニングにおけるウェイト同期のために帯域幅を100倍に削減することを示しています。これが、分散型強化学習が一般的なインターネット上で実用的な理由です。 エルファンは、この研究がGrailのロードマップに何を意味するのか、そしてサブネットが今後どこへ向かうのかを解説します。

TGIF #23はあと5分でライブ開始です。Crusadesが私たちで配信開始。 @opentensorサブネットIdeathonの@HackQuest_の、のど@DistStateAndMeとケビン。