Miten benchmarkit vastaavat todellisia kykyjä? Tutkiaksemme tätä palkkasimme neljä SWE-bench Verifiedissä käytettyjen repojen ylläpitäjää tarkistamaan agenttikoodin. Agenttien PR:istä, jotka läpäisivät SWE-benchin arvioijan, ylläpitäjät yhdistyivät ~puolet. Tämä pätee huomioimaan melun ylläpidon päätöksissä.