Har det gøy med @karpathy sin autoforskning. Jeg sa til Claude Code: "Du er sjefsforsker i et AI-laboratorium med 8 GPU-er. Du er Andrej Karpathy. Kjør parallelle eksperimenter og bestem hva du skal prøve videre." Den redigerte program.md, gikk i 11+ timer og fullførte 568 eksperimenter. Hvert eksperiment bruker 1 GPU. Hver runde gjennomgår «sjefsforskeren» den forrige runden med 8 resultater og designer de neste 8 eksperimentene. Det er interessant å se at Claude-agenten, sjefsforskeren, utviklet en tre-fases strategi: Fase 1. Bred utforskning Tidlige runder utforsker mange akser: arkitektur, optimalisator, LR-er, ablasjoner. Fase 2. Fokusert raffinering Etter at enkle seire tørker ut, kjører den dypere sweeps (f.eks. 5 GPU-er som sveiper RoPE-base 30k → 500k i én runde). Fase 3. Tung validering Senere går 50–75 % av GPU-budsjettet til seed-varianskontroller i stedet for nye ideer. Jeg synes det er overkill, for å være ærlig. Jeg lar sjefsforskeren fortsette for å se om den overføres til større modeller og slår Andrejs nye «Time to GPT-2»-vinner.