2019年以降のアルゴリズムの進展を測定するために、私はGPT-2を最新のnanoGPTスピードランスタックで再学習させました。 現在のnanogpt SOTAは707倍速いです。 総速度を次のように分解できます。 > 固定ハードウェア上で15倍速いFLOP/秒 同じ価値損失に達するためにFLOPが46倍少ない>です。