Мы только что завершили крупнейший в истории запуск предобучения децентрализованной LLM: Covenant-72B. Без разрешений, на подсети Bittensor 3.
72B параметров. ~1.1T токенов. Коммерческий интернет. Без централизованного кластера. Без белого списка. Любой, у кого есть GPU, мог свободно присоединяться или покидать.
1/n
В эту пятницу на TGIF @DistStateAndMe встретится с @erfan_mhi, ведущим исследователем PULSE.
Документ PULSE показывает, как Grail достигает 100-кратного уменьшения пропускной способности для синхронизации весов в распределенном обучении с подкреплением. Именно это делает децентрализованное обучение с подкреплением практичным через обычный интернет.
Эрфан расскажет, что это исследование означает для дорожной карты Grail и куда движется подсеть от этого момента.