@karpathy's autoresearch ile eğleniyor. Claude Code'a şöyle dedim: "Sen 8 GPU'lu bir yapay zeka laboratuvarının baş bilim insanısın. Sen Andrej Karpathy'sin. Paralel deneyler yap ve bir sonraki denemeye karar ver." program.md düzenledi, 11+ saat çalıştı ve 568 deney tamamladı. Her deney 1 GPU kullanır. Her turda "baş bilim insanı" önceki 8 tur sonucunu gözden geçirir ve sonraki 8 deneyi tasarlar. Baş bilim insanı Claude ajanının üç aşamalı bir strateji geliştirdiğini görmek ilginç: Aşama 1. Geniş Keşif İlk turlar birçok eksen keşfediyor: mimari, optimizator, LR'ler, ablasyonlar. Aşama 2. Odaklanmış Geliştirme Kolay kazanımlar bittikten sonra daha derin taramalar yapıyor (örneğin 5 GPU bir turda RoPE taban 30k → 500k süpürüyor). Aşama 3. Ağır Doğrulama Daha sonra, GPU bütçesinin %50–75'i yeni fikirler yerine tohum varyans kontrollerine gider. Açıkçası bunun abartı olduğunu düşünüyorum. Baş bilim insanını çalışmaya devam edeceğim, görüm daha büyük modellere geçer mi ve Andrej'in yeni "GPT-2 zamanı" liderlik tablosunu geçer.