自2019年以來為了衡量算法進展，我使用現代的nanogpt速度運行堆棧重新訓練了GPT-2。 目前的nanogpt SOTA速度是707倍快。 我們可以將總速度提升分解為 > 每秒FLOP快15倍（在固定硬體上） > 需要46倍更少的FLOP來達到相同的驗證損失。