RadixMLPを紹介します:バッチ内プレフィックス除去で1.4〜5倍のプリフィル速度を実現します。 システムプロンプトや共有クエリなど、同じ接頭辞を持つトークンは同一のアクティベーションを生み出します。@feilsystemこの冗長性を排除するためにRadixMLPを開発し、オープンソース化してTEIやBEEに追加しました。