基準測試如何映射到現實世界的能力？為了研究這一點，我們聘請了 4 位在 SWE-bench Verified 中使用的倉庫的維護者來審查代理代碼。 在通過 SWE-bench 的評分器的代理 PR 中，維護者會合併約一半。這在考慮到維護者決策中的噪音時仍然成立。