DeepSeek открыла исходники движка инференса, который обслуживает её продакшен-трафик
В README DeepInfer назван фреймворком, на котором работают крупномасштабные сервисы DeepSeek. Поддержка Huawei Ascend есть с первого дня.
Релиз охватывает одну модель, DeepSeek-V4.1-Flash, и работает на GPU NVIDIA SM100 и NPU Huawei Ascend 950. Намеренно не включены система KV-кэша и разделение prefill и decode.
В треде один читатель спрашивает, не ставка ли весь релиз против американских оценок. Другой отвечает, что инвесторы не верят, будто западные компании станут запускать китайские модели.
Что внутри и что оставили за кадром
DeepInfer стартовал на базе vLLM и заимствует идеи из SGLang и TensorRT-LLM. В него входят ядра FlashMLA, DeepGEMM и DeepEP, параллелизм данных для внимания, экспертный параллелизм с балансировкой нагрузки, спекулятивное декодирование и детерминированное сэмплирование, инвариантное к батчу. Лицензия: Apache 2.0.
Поддерживается только DeepSeek-V4.1-Flash, на GPU NVIDIA SM100 и NPU Huawei Ascend 950. В README есть бенчмарки prefill на 4 GPU и decode на 64, но цифр в тексте нет. Отсутствуют система KV-кэша, разделение prefill и decode и балансировка нагрузки данных, то есть всё то, что делает крупномасштабный инференс дешёвым.
«Стратегическая диверсия» или «они это не купят»
Самый заметный комментарий воспринял релиз как угрозу американским лабораториям:
«Отсюда у них нет пути к оценкам в триллион долларов… Запретить все открытые веса! — кричат венчурные фонды.» — wg0
Другой комментатор видел такую же реакцию на первую модель DeepSeek и сомневается, что инвесторы в неё верят. Крупные американские и европейские компании, по его словам, не станут запускать китайские модели из-за опасений по безопасности, регуляторике и непрерывности работы.
Лаборатория на 400 человек как эталон
Комментатор назвал «безумием, что побочный проект китайской фирмы на 400 человек даёт такой бой», отметив, что большинство конкурентов — небольшие лаборатории или побочные проекты технических компаний. Кто-то ещё указал на рынок прогнозов по оценке Anthropic, который после новости не сдвинулся.
Для тех, кто разворачивает модели у себя, практичный вопрос — что именно отсутствует. Без управления KV-кэшем и разделения этапов это движок, а не весь стек обслуживания.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Глава Ofcom сообщила депутатам, что Великобритания может так и не взыскать штраф с 4chan
Британский регулятор направил около 200 американским платформам требования. Четыре отказались, в том числе 4chan, и американский суд намекнул, почему это может сработать.