基准测试如何映射到现实世界的能力？为此，我们聘请了4位在SWE-bench Verified中使用的仓库的维护者来审查代理代码。 在通过SWE-bench评分器的代理PR中，维护者大约会合并一半。这在考虑维护者决策中的噪声时仍然成立。

为了衡量自2019年以来的算法进展，我使用现代的nanogpt速度运行堆栈重新训练了GPT-2。 当前的nanogpt SOTA速度是707倍。 我们可以将总加速分解为 > 每秒FLOP快15倍（在固定硬件上） > 达到相同验证损失所需的FLOP少46倍。

AI似乎比上次我们有新一类通用智能进入劳动力市场时扩散得更慢。