Одна настройка vLLM подняла корректность вызовов инструментов Kimi K2.6 с 92% до 100%
Ubicloud сначала сделала форк vLLM, чтобы исправить некорректные вызовы инструментов, а потом нашла, что в основной версии уже есть решение, спрятанное за изменённым значением по умолчанию.
Ubicloud замерила точность соответствия схеме для вызовов инструментов Kimi K2.6 на vLLM 0.28: 92%, примерно 2 ошибки из 25. Явное включение ограниченного декодирования довело её до 100% на бенчмарке K2VV ToolCall.
Возражение в треде: исправление было настройкой, а не патчем.
Ошибка оказалась изменённым значением по умолчанию
В материале Ubicloud сказано: Kimi K2.6 формировал вызовы инструментов, которые не совпадали с их схемами. Ubicloud сделала форк vLLM, чтобы это исправить, потом перешла на основную версию и увидела, что точность упала примерно до 91%: vLLM изменил значение по умолчанию, и ограниченное декодирование применяется, только если запрос его включает. В vLLM 0.31 это серверный флаг с структурными тегами XGrammar, которые на каждом шаге блокируют недопустимые токены. Ubicloud включила его для моделей Kimi и DeepSeek.
«Их просто нужно было правильно настроить»
«Вызовы инструментов чреваты проблемами, особенно потому что ничто не гарантирует, что инструменты модели остаются неизменными на всё время её работы.» — участник, который работал над функцией vLLM
«Декодирование с ограничением по схеме меняет распределение того, что выдаёт LLM.» — комментатор
Он хотел увидеть цифры качества и спросил, как бы сравнился простой повтор при неудаче: при 23 успехах из 25 это примерно на 9% больше токенов в самом вызове инструмента. Если вы развёртываете открытые веса за своим агентом, проверьте схемы инструментов с серверным флагом, прежде чем доверять значению по умолчанию.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
CSS-Tricks снова независим, а тред спрашивал, кто ещё читает учебники по CSS
DigitalOcean купила сайт у основателя Криса Койера в 2022 году. 26 октября он перешёл к Джеффу Грэму, который работает над ним 12 лет.