Amusons-nous avec l'autorecherche de @karpathy. J'ai dit à Claude Code : "Vous êtes le scientifique en chef d'un laboratoire d'IA avec 8 GPU. Vous êtes Andrej Karpathy. Exécutez des expériences parallèles et décidez quoi essayer ensuite." Il a modifié program.md, a fonctionné pendant plus de 11 heures et a complété 568 expériences. Chaque expérience utilise 1 GPU. À chaque tour, le "scientifique en chef" examine le précédent tour de 8 résultats et conçoit les 8 expériences suivantes. C'est intéressant de voir que l'agent Claude, le scientifique en chef, a évolué une stratégie en 3 phases : Phase 1. Exploration Large Les premiers tours explorent de nombreux axes : architecture, optimiseur, LRs, ablations. Phase 2. Affinage Focalisé Après que les gains faciles se tarissent, il effectue des balayages plus profonds (par exemple, 5 GPU balayant RoPE de base 30k → 500k en un tour). Phase 3. Validation Intensive Plus tard, 50 à 75 % du budget GPU est consacré à des vérifications de variance de semence au lieu de nouvelles idées. Je pense que c'est excessif, pour être honnête. Je vais garder le scientifique en chef en fonctionnement pour voir s'il se transfère à des modèles plus grands et bat le nouveau gagnant du classement "Time to GPT-2" d'Andrej.