لقياس التقدم الخوارزمي منذ 2019، أعدت تدريب GPT-2 باستخدام مكدس nanoGPT الحديث للسرعة. جهاز nanoGPT SOTA الحالي أسرع بمقدار 707 مرة. يمكننا تفكيك التسريع الكلي إلى > FLOP أسرع بمقدار 15 مرة في الثانية (على الأجهزة الثابتة) > 46 ضعف تقليل FLOPs للوصول إلى نفس فقدان القيمة.