O brilhantismo da @karpathy está em conseguir destilar conceitos extremamente complexos e torná-los simples de entender e implementar em pequena escala. Bastou Claude Code e $10 em @runpod para rodar um único H100, e eu tinha um pesquisador de ML de classe mundial trabalhando no piloto automático. Estou pegando o conceito geral de autopesquisa e aplicando-o a um pipeline de inferência em que venho trabalhando (felizmente não preciso de GPU). Agora tudo está tão divertido.
Andrej Karpathy
Andrej Karpathy8 de mar., 03:53
Embalei o projeto de "autopesquisa" em um novo repositório minimalista autônomo caso as pessoas queiram jogar durante o fim de semana. É basicamente um núcleo de treinamento de LLM nanochat reduzido a uma única GPU, um arquivo, com ~630 linhas de código, e então: - o humano itera no prompt (.md) - o agente de IA itera no código de treinamento (.py) O objetivo é orientar seus agentes para que façam o progresso de pesquisa mais rápido indefinidamente e sem envolvimento próprio. Na imagem, cada ponto é uma corrida completa de treinamento de LLM que dura exatamente 5 minutos. O agente trabalha em um loop autônomo em um branch de característica git e acumula commits git no script de treinamento à medida que encontra configurações melhores (com menor perda de validação ao final) da arquitetura da rede neural, do otimizador, de todos os hiperparâmetros, etc. Você pode imaginar comparar o progresso da pesquisa de diferentes prompts, diferentes agentes, etc. Parte código, parte ficção científica e um pouco de psicose :)
@karpathy @runpod precisa de amigos como @ryaneshea para tirar suas (fracas) desculpas para não simplesmente fazer as coisas
550