Pidän hauskaa @karpathy:n automaattitutkimuksesta. Sanoin Claude Codelle: "Olet tekoälylaboratorion päätutkija, jossa on 8 GPU:ta. Sinä olet Andrej Karpathy. Tee rinnakkaisia kokeita ja päätä, mitä kokeilet seuraavaksi." Se editoi program.md, pyöri 11+ tuntia ja suoritti 568 koetta. Jokaisessa kokeessa käytetään yhtä GPU:ta. Jokaisella kierroksella "päätutkija" tarkastelee edellisen kierroksen kahdeksan tuloksen ja suunnittelee seuraavat 8 koetta. On mielenkiintoista nähdä, että Claude-agentti, päätutkija, kehitti kolmivaiheisen strategian: Vaihe 1. Laaja tutkimusmatka Varhaiset kierrokset tutkivat monia eri suuntauksia: arkkitehtuuri, optimointi, LR:t, ablaatiot. Vaihe 2. Kohdennettu hienosäätö Kun helpot voitot loppuvat, se tekee syvempiä sweepejä (esim. 5 GPU:ta pyyhkäisee RoPE:n perus 30k → 500k yhdellä kierroksella). Vaihe 3. Vahva validointi Myöhemmin 50–75 % GPU:n budjetista menee siemenvarianssitarkistuksiin uusien ideoiden sijaan. Minusta se on rehellisesti sanottuna liioittelua. Pidän päätutkijan käynnissä nähdäkseni, siirtyykö se suurempiin malleihin ja voittaako Andrejin uuden "Time to GPT-2" -tulostaulun voittajan.