Jak benchmarky odpovídají reálným schopnostem? Abychom to prozkoumali, najali jsme 4 správce repozitářů používaných v SWE-bench Verified, aby kontrolovali kód agentů. U PR agentů, které prošly hodnoticí hodnoticí SWE-bench, se správci spojili ~polovinou. To platí zohlednit šum v rozhodnutích údržbářů.

Abych měřil algoritmický pokrok od roku 2019, přetrénoval jsem GPT-2 pomocí moderního nanogpt speedrun stacku. Současný Nanogpt SOTA je 707x rychlejší. Můžeme rozložit celkové zrychlení na > 15x rychlejší FLOP za sekundu (na pevném hardwaru) > 46x méně FLOP, abych dosáhl stejné ztráty hodnoty.

Zdá se, že AI se šíří pomaleji než naposledy, kdy na trh práce vstoupila nová třída obecných inteligencí.