@karpathy 的才华在于能够将极其复杂的概念提炼出来,使其易于理解并在小规模上实施。 只需 Claude Code 和 $10 在 @runpod 上,我就能启动一台 H100,并让一位世界级的机器学习研究员在自动驾驶模式下工作。 我正在将自我研究的总体概念应用于我一直在开发的推理管道(幸运的是不需要 GPU)。现在一切都变得如此有趣。
Andrej Karpathy
Andrej Karpathy3月8日 03:53
我将“autoresearch”项目打包成一个新的自包含的最小仓库,如果人们想在周末玩玩的话。它基本上是nanochat LLM训练核心,简化为一个单GPU、一个文件版本,约630行代码,然后: - 人类迭代提示(.md) - AI代理迭代训练代码(.py) 目标是设计你的代理,使其在没有你任何参与的情况下无限制地快速推进研究。在图像中,每个点都是一个完整的LLM训练运行,持续正好5分钟。代理在git功能分支上以自主循环工作,并在找到更好的设置(到最后的验证损失更低)时,将git提交累积到训练脚本中,包括神经网络架构、优化器、所有超参数等。你可以想象比较不同提示、不同代理等的研究进展。 部分代码,部分科幻,还有一点精神病 :)
@karpathy @runpod 需要像 @ryaneshea 这样的朋友来消除你们(微弱的)借口,不去做事情。
555