@karpathy 的才華在於能夠將極其複雜的概念提煉出來,並使其簡單易懂,便於在小規模上實施。 只需要 Claude Code 和 $10 在 @runpod 上,就能啟動一個 H100,我就有了一位世界級的機器學習研究員在自動駕駛模式下工作。 我正在將自動研究的概念應用到我一直在研究的推理管道上(幸運的是不需要 GPU)。現在一切都變得如此有趣。
Andrej Karpathy
Andrej Karpathy3月8日 03:53
我將 "autoresearch" 專案打包成一個新的自包含的最小化倉庫,如果大家想在週末玩玩。它基本上是 nanochat LLM 訓練核心,簡化為單 GPU 的一個檔案版本,大約 630 行代碼,然後: - 人類在提示 (.md) 上進行迭代 - AI 代理在訓練代碼 (.py) 上進行迭代 目標是設計你的代理,使其能夠無限快速地推進研究,而不需要你自己的參與。在圖片中,每個點都是一個完整的 LLM 訓練運行,持續正好 5 分鐘。代理在 git 功能分支上以自主循環工作,並在找到更好的設置(最終的驗證損失更低)時,將 git 提交累積到訓練腳本中,這些設置包括神經網絡架構、優化器、所有超參數等。你可以想像比較不同提示、不同代理等的研究進展。 部分代碼、部分科幻,還有一點精神病 :)
@karpathy @runpod 需要像 @ryaneshea 這樣的朋友來消除你們(脆弱的)藉口,讓你們不再只是做事。
564