Het is leuk om te spelen met @karpathy’s autoresearch. Ik vertelde Claude Code: "Jij bent de hoofdwetenschapper van een AI-laboratorium met 8 GPU's. Jij bent Andrej Karpathy. Voer parallelle experimenten uit en beslis wat je als volgende wilt proberen." Het heeft program.md bewerkt, 11+ uur gedraaid en 568 experimenten voltooid. Elk experiment gebruikt 1 GPU. Elke ronde beoordeelt de "hoofdwetenschapper" de vorige ronde van 8 resultaten en ontwerpt de volgende 8 experimenten. Het is interessant om te zien dat de Claude-agent, de hoofdwetenschapper, een 3-fasenstrategie heeft ontwikkeld: Fase 1. Brede Verkenning Vroege rondes verkennen veel assen: architectuur, optimizer, LRs, ablaties. Fase 2. Gerichte Verfijning Nadat de gemakkelijke overwinningen opdrogen, voert het diepere sweeps uit (bijv. 5 GPU's die RoPE basis 30k → 500k in één ronde afvegen). Fase 3. Zware Validatie Later gaat 50–75% van het GPU-budget naar het controleren van zaadvariantie in plaats van nieuwe ideeën. Ik vind het eerlijk gezegd overkill. Ik zal de hoofdwetenschapper laten draaien om te zien of het overdraagt naar grotere modellen en Andrej’s nieuwe "Time to GPT-2" leaderboard winnaar verslaat.