基准测试如何映射到现实世界的能力？为此，我们聘请了4位在SWE-bench Verified中使用的仓库的维护者来审查代理代码。 在通过SWE-bench评分器的代理PR中，维护者大约会合并一半。这在考虑维护者决策中的噪声时仍然成立。