Ubicloud

Ubicloud замерила точность соответствия схеме для вызовов инструментов Kimi K2.6 на vLLM 0.28: 92%, примерно 2 ошибки из 25. Явное включение ограниченного декодирования довело её до 100% на бенчмарке K2VV ToolCall.

Возражение в треде: исправление было настройкой, а не патчем.

Механика: процессы Postgres делят общие сегменты памяти, поэтому OOM-killer, убив один процесс, вынуждает постмастер завершить все процессы разом. Ответ Ubicloud — строгий overcommit (vm.overcommit_memory=2): Linux сразу отказывает в выделении памяти сверх лимита с ошибкой ENOMEM, а Postgres просто отменяет ту транзакцию, что стала причиной.

Тред разделился. Один комментатор говорит, что статья неверно описывает режимы overcommit в ядре и не упоминает oom_score_adj; сооснователь самой компании признаёт, что подача получилась слишком резкой.