Para medir o progresso algorítmico desde 2019, reentrenei o GPT-2 usando a moderna pilha de speedruns nanoGPT. O SOTA atual do nanoGPT é 707 vezes mais rápido. Podemos decompor o aceleramento total em > FLOP 15x mais rápido por segundo (em hardware fixo) > 46 vezes menos FLOPs para alcançar a mesma perda de val.