熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
@karpathy 的才華在於能夠將極其複雜的概念提煉出來,並使其簡單易懂,便於在小規模上實施。
只需要 Claude Code 和 $10 在 @runpod 上,就能啟動一個 H100,我就有了一位世界級的機器學習研究員在自動駕駛模式下工作。
我正在將自動研究的概念應用到我一直在研究的推理管道上(幸運的是不需要 GPU)。現在一切都變得如此有趣。


3月8日 03:53
我將 "autoresearch" 專案打包成一個新的自包含的最小化倉庫,如果大家想在週末玩玩。它基本上是 nanochat LLM 訓練核心,簡化為單 GPU 的一個檔案版本,大約 630 行代碼,然後:
- 人類在提示 (.md) 上進行迭代
- AI 代理在訓練代碼 (.py) 上進行迭代
目標是設計你的代理,使其能夠無限快速地推進研究,而不需要你自己的參與。在圖片中,每個點都是一個完整的 LLM 訓練運行,持續正好 5 分鐘。代理在 git 功能分支上以自主循環工作,並在找到更好的設置(最終的驗證損失更低)時,將 git 提交累積到訓練腳本中,這些設置包括神經網絡架構、優化器、所有超參數等。你可以想像比較不同提示、不同代理等的研究進展。
部分代碼、部分科幻,還有一點精神病 :)

@karpathy @runpod 需要像 @ryaneshea 這樣的朋友來消除你們(脆弱的)藉口,讓你們不再只是做事。

564
熱門
排行
收藏
