Drop-in замена токенайзера обещает скорость в 1000 раз выше HuggingFace на тех же чипах (github.com)
GigaToken — опенсорсная drop-in замена библиотеки токенайзеров HuggingFace, заявляющая до ~1268x прироста пропускной способности на том же бенчмарке — SIMD-оптимизированная предтокенизация по регулярным выражениям плюс агрессивное кэширование, а не новый алгоритм.
Протестировано на трёх семействах чипов — серверный AMD EPYC, Apple M4 Max и десктопный Ryzen — ускорение держится везде: от 106x на самом слабом чипе до 1268x на кремнии Apple.
Самый заплюсованный ответ мягко остудил хайп: токенизация обычно занимает менее 0,1% общего времени инференса — так кому это вообще нужно?
Войдите, чтобы сохранить