Karpathy 刚刚发布了 autoresearch - 一种能够在你睡觉时自主运行 ML 实验的 AI 代理,使用单个 GPU。 2027 年最好的 AI 实验室可能只有 2-3 个人。
Andrej Karpathy
Andrej Karpathy3月8日 03:53
我将“autoresearch”项目打包成一个新的自包含的最小仓库,如果人们想在周末玩玩的话。它基本上是nanochat LLM训练核心,简化为一个单GPU、一个文件版本,约630行代码,然后: - 人类迭代提示(.md) - AI代理迭代训练代码(.py) 目标是设计你的代理,使其在没有你任何参与的情况下无限制地快速推进研究。在图像中,每个点都是一个完整的LLM训练运行,持续正好5分钟。代理在git功能分支上以自主循环工作,并在找到更好的设置(到最后的验证损失更低)时,将git提交累积到训练脚本中,包括神经网络架构、优化器、所有超参数等。你可以想象比较不同提示、不同代理等的研究进展。 部分代码,部分科幻,还有一点精神病 :)
从积极的一面来看,我们可能能够在现在的风险投资 $s 较少的情况下取得更多的研究进展。
805