與 @karpathy 的自動研究一起玩得很開心。 我告訴 Claude Code： “你是擁有 8 個 GPU 的 AI 實驗室的首席科學家。你是 Andrej Karpathy。進行平行實驗並決定下一步嘗試什麼。” 它編輯了 program.md，運行了超過 11 小時，並完成了 568 次實驗。 每個實驗使用 1 個 GPU。每一輪“首席科學家”都會檢查前一輪的 8 個結果，並設計下一輪的 8 個實驗。 看到 Claude 代理人，首席科學家演變出了一個 3 階段的策略，真是有趣： 第一階段。廣泛探索 早期的輪次探索許多軸心：架構、優化器、學習率、消融。 第二階段。集中精煉 在輕鬆的勝利枯竭後，它進行更深入的掃描（例如，5 個 GPU 在一輪中掃描 RoPE 基礎 30k → 500k）。 第三階段。重驗證 後期，50–75% 的 GPU 預算用於種子變異檢查，而不是新想法。老實說，我覺得這有點過頭了。 我會讓首席科學家繼續運行，看看它是否能轉移到更大的模型並超越 Andrej 的新 "Time to GPT-2" 排行榜冠軍。