Jak benchmarky odpovídají reálným schopnostem? Abychom to prozkoumali, najali jsme 4 správce repozitářů používaných v SWE-bench Verified, aby kontrolovali kód agentů. U PR agentů, které prošly hodnoticí hodnoticí SWE-bench, se správci spojili ~polovinou. To platí zohlednit šum v rozhodnutích údržbářů.