vLLM

Ubicloud замерила точность соответствия схеме для вызовов инструментов Kimi K2.6 на vLLM 0.28: 92%, примерно 2 ошибки из 25. Явное включение ограниченного декодирования довело её до 100% на бенчмарке K2VV ToolCall.

Возражение в треде: исправление было настройкой, а не патчем.

Релиз охватывает одну модель, DeepSeek-V4.1-Flash, и работает на GPU NVIDIA SM100 и NPU Huawei Ascend 950. Намеренно не включены система KV-кэша и разделение prefill и decode.

В треде один читатель спрашивает, не ставка ли весь релиз против американских оценок. Другой отвечает, что инвесторы не верят, будто западные компании станут запускать китайские модели.