Saimme juuri päätökseen historian suurimman hajautetun LLM-esikoulutuksen: Covenant-72B. Ilman lupaa, Bittensor-aliverkossa 3. 72B-parametrit. ~1,1T tokenit. Hyödykeinternet. Ei keskitettyä klusteria. Ei valkoista listaa. Kuka tahansa, jolla on GPU, saattoi liittyä tai lähteä vapaasti. 1/n

Tänä perjantaina TGIFissä @DistStateAndMe istuu alas @erfan_mhi:n kanssa, joka on PULSEn johtava tutkija. PULSE-artikkeli osoittaa, kuinka Grail saavuttaa 100-kertaisen kaistanleveyden vähennyksen painon synkronoinnissa hajautetussa RL-koulutuksessa. Tämä tekee hajautetusta vahvistusoppimisesta käytännöllistä tavallisen internetin kautta. Erfan käy läpi, mitä tämä tutkimus merkitsee Grailin tiekartalle ja mihin aliverkko tästä eteenpäin etenee.

TGIF #23 on suorassa lähetyksessä viiden minuutin kuluttua. Ristiretket lähetetään kanssamme. @DistStateAndMe ja Kevin @HackQuest_ @opentensor Ideathonin aliverkossa.