Przedstawiamy RadixMLP: deduplikacja prefiksów wewnątrz partii, która przyspiesza prefill od 1,4 do 5 razy. Tokeny z identycznymi prefiksami (takimi jak systemowe podpowiedzi lub wspólne zapytania) generują identyczne aktywacje. @feilsystem opracował RadixMLP, aby wyeliminować tę redundancję, a następnie udostępnił go jako open-source i dodał do TEI i BEI.