Pentru a măsura progresul algoritmic din 2019, am reantrenat GPT-2 folosind stiva modernă de speedrun nanoGPT. SOTA nanoGPT actual este de 707 ori mai rapid. Putem descompune viteza totală în > FLOP de 15 ori mai rapid pe secundă (pe hardware fix) > de 46 de ori mai puține FLOP-uri pentru a ajunge la aceeași pierdere de val.