@karpathyの自動研究を楽しんでいます。 私はクロード・コードにこう言いました: 「あなたは8つのGPUを持つAIラボの主任科学者です。君はアンドレイ・カルパティだ。並行実験を行い、次に何を試すか決めるんだ。」 編集 program.md、11+時間の放送、568の実験を完了しました。 各実験は1つのGPUを使用します。毎ラウンド「主任科学者」は前回の8つの結果をレビューし、次の8つの実験を設計します。 主任科学者であるクロードのエージェントが3段階の戦略を進化させたのを見るのは興味深いです。 フェーズ1。広範な探検 初期ラウンドではアーキテクチャ、最適化、LR、アブレーションなど多くの軸が探求されます。 フェーズ2。集中的精錬 簡単な勝利が減った後は、より深いスイープ(例:5つのGPUがRoPEのベース30k→500kを1ラウンドで一掃するなど)を展開します。 フェーズ3。重度検証 その後、GPU予算の50〜75%が新しいアイデアの代わりにシード分散チェックに使われることもあります。正直言って、やりすぎだと感じます。 主任科学者を稼働させ続けて、より大きなモデルに移行してアンドレイの新しい「Time to GPT-2」リーダーボード優勝者に勝つかどうかを見守ります。