Трюк Huawei с KV-кэшем: точность FP16, кэш вчетверо больше и выше пропускная способность разом
Обычно квантование KV-кэша экономит память за счёт скорости или точности. KVarN от Huawei, готовый бэкенд для vLLM, обещает обойти этот компромисс: точность уровня FP16, кэш в 3–5 раз больше и пропускная способность примерно в 1,3 раза выше. Первая реакция треда: «Стоп, так же не бывает».
KVarN — нативный плагин для vLLM, который квантует KV-кэш до 4-битных ключей и 2-битных значений через поворот Адамара и асимметричное квантование. Один флаг, без правок модели и без калибровки.
Заявка, от которой поднимаются брови: точность уровня FP16, кэш в 3–5 раз больше и пропускная способность до 1,3 раза выше, чем у FP16, плюс примерно в 2,4 раза выше, чем у TurboQuant, при большей точности.
На Qwen3-32B с контекстом 16K кривая Парето уходит в угол, недоступный конкурентам. Именно поэтому тред переспросил: правильно ли мы это читаем.
Заявка, которая ломает привычный компромисс
Квантование KV-кэша обычно вынуждает выбрать два из трёх: экономия памяти, скорость или точность. Стандартные методы жертвуют одним ради остального. KVarN, нативный бэкенд для vLLM от Huawei, отказывается от этого выбора. Он прогоняет блоки кэша через поворот Адамара, нормализацию дисперсии и асимметричное низкоразрядное квантование (по умолчанию 4-битные ключи, 2-битные значения) и сообщает о кэше в 3–5 раз больше, чем у FP16, точности уровня FP16 и пропускной способности до 1,3 раза выше, чем у FP16. В сравнении с TurboQuant он заявляет примерно в 2,4 раза большую пропускную способность при более высокой точности, тогда как TurboQuant ради своей ёмкости теряет 40–52% пропускной способности. Для установки достаточно одного флага (--kv-cache-dtype kvarn_k4v2_g128), «без правок модели и без калибровки». На графике Парето для Qwen3-32B при контексте 16K он попадает в зону, которую другие не занимают: большая ёмкость, точность FP16 и выше пропускная способность.
Скепсис треда в два слова
Цифры из заголовка оказались почти слишком чистыми, и тред это заметил:
«Производительность выше, чем у TQ, и качество выше, чем у FP16? Я правильно это читаю??» — читатель, перепроверяющий заявления
Рефлекс верный: обойти FP16 сразу по качеству и по скорости при 2-битных значениях можно либо настоящим прорывом, либо артефактом бенчмарка, а собственный график Парето из репозитория не считается независимой проверкой. Второй острый вопрос был не про числа, а про распространение:
«Почему это не PR в vLLM?» — комментатор спрашивает, почему схема выходит отдельным бэкендом
Замечание справедливое: настолько хорошая схема квантования в принципе хотела бы жить в основном коде vLLM, а не отдельным плагином. Между «готовым плагином от вендора» и «влитым в движок, которому все доверяют» как раз и проверяются такие заявления на прочность.
Многообещающе — в ожидании независимой проверки
Если цифры KVarN переживут стороннее тестирование, то «точность FP16 при четверти кэша и быстрее» — заметный прорыв для длинного контекста на ограниченном железе, ровно том режиме, где у всех узкое место. Скепсис в треде — не отказ, а правильная позиция по отношению к самостоятельно заявленной границе Парето. Флаг легко попробовать. Заявление легко проверить. Пока кто-то вне Huawei не прогонит это на своей нагрузке, угол на графике стоит считать гипотезой, а не результатом.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Инженер Meta ради забавы открыл ADB на мёртвых Portal — и случайно вернул их к жизни
Технический директор Meta выложил видео, где включает Android Debug Bridge на снятых с продажи умных дисплеях Portal, превращая электронный мусор обратно в хакабельное железо. Тред благодарен и немного горек: дверь открыл инсайдер «ради забавы», а не политика ремонтопригодности.