Chúng tôi vừa hoàn thành đợt huấn luyện trước lớn nhất về LLM phi tập trung trong lịch sử: Covenant-72B. Không cần phép, trên subnet 3 của Bittensor. 72B tham số. ~1.1T token. Internet hàng hóa. Không có cụm trung tâm. Không có danh sách trắng. Bất kỳ ai có GPU đều có thể tham gia hoặc rời đi tự do. 1/n

Thứ Sáu này trên TGIF, @DistStateAndMe sẽ ngồi xuống với @erfan_mhi, nhà nghiên cứu chính đứng sau PULSE. Bài báo PULSE cho thấy cách mà Grail đạt được giảm băng thông 100x cho việc đồng bộ hóa trọng số trong đào tạo RL phân tán. Đó là điều làm cho học tăng cường phi tập trung trở nên thực tiễn trên internet thương mại. Erfan sẽ giải thích ý nghĩa của nghiên cứu này đối với lộ trình của Grail và subnet sẽ đi đâu từ đây.

TGIF #23 sẽ bắt đầu trong 5 phút. Crusades sẽ phát trực tiếp cùng chúng tôi. @DistStateAndMe và Kevin từ @HackQuest_ trên Ideathon Subnet @opentensor.