Kimi K3 берёт $3 за миллион токенов — Томпсон видит риск не в этом

Когда Hugging Face расследовала собственный взлом в этом году, американские топовые модели отказались помогать: их защита от опасного контента приняла криминалистический анализ за саму атаку. В итоге расследование вели через китайскую модель — GLM-5.2 от Z.ai.

Вкратце

Эссе Бена Томпсона утверждает: паника вокруг китайского ИИ раздута. Kimi K3 от Moonshot берёт $3/$15 за миллион токенов против $5/$30 у топового конкурента — по мнению автора, это интеллект, превращающийся в обычный товар, а не признак кризиса безопасности.

Читатель, протестировавший около 50 моделей для реального продакшена, увидел обратное: топовые модели экономнее расходуют токены, чем открытые, даже уступая им в точности — цифра, которую Томпсон в своём тексте не упоминает.

Kimi K3 демпингует Sol по цене, но Томпсон видит страшное не в этом

Stratechery
Stratechery

Эссе Бена Томпсона написано под впечатлением от двух релизов: Kimi K3 от Moonshot AI, модели на 2,8 триллиона параметров, и решения Alibaba выложить в открытый доступ Qwen3.8 Max на 2,4 триллиона параметров. Его аргумент идёт против общей паники: интеллект превращается в обычный товар, а нынешняя ценовая власть топовых лабораторий держится на дефиците, а не на устойчивом техническом преимуществе.

Томпсон разделяет два вида издержек, которые в нарративе «Китай побеждает» постоянно путают: фиксированную стоимость обучения модели (R&D) и переменную стоимость её работы (себестоимость, COGS). Инференс стоит денег прямо пропорционально выручке, а обучение модели — это разовые вложения, которые не растут вместе с использованием. K3 берёт $3 за миллион входных токенов и $15 за миллион выходных, топовый конкурент, которого он называет Sol, берёт $5 и $30. Он перечисляет пять факторов, определяющих этот разрыв в себестоимости: размер модели, эффективность инференса (архитектура mixture-of-experts), эффективность памяти (KV-кэш), эффективность обслуживания запросов (батчинг и кэширование) и токен-эффективность (сколько токенов модель тратит на правильный ответ).

Ключевой момент: Томпсон настаивает, что токены сами по себе не взаимозаменяемы, токен одной модели нельзя приравнять к токену другой. Но интеллект, то есть верный ответ на конкретную задачу, превращается ровно в тот тип товара, где цену на рынке диктует производитель с наименьшими издержками, а остальные либо подстраиваются, либо уходят с рынка. Про дистилляцию, то есть обучение китайских лабораторий на выдаче топовых западных моделей, он не отрицает преимущество, но называет его провалом политики, а не технологии: американские разработчики открытых моделей связаны условиями использования, запрещающими дистилляцию, а китайские лаборатории просто не связаны. Его рецепт законодательный, а не протекционистский: официально признать сбор обучающих данных добросовестным использованием и запретить условия использования, которые сами дистилляцию запрещают.

Единственный ров, в который он всё ещё верит, — это агентная оболочка. «Claude Code и Codex доказывают, что от них трудно отказаться», — пишет он. Выбрав однажды инструмент для кодинга, разработчик обычно остаётся с ним: эта липкость важнее для нетехнических пользователей, которые второй инструмент вообще не тронут.

Но самый острый материал эссе вовсе не про экономику. Это история про кибербезопасность, через которую он переосмысляет весь вопрос. Когда Hugging Face расследовала взлом в начале года, её собственные специалисты по реагированию на инциденты не смогли получить помощь от американских топовых моделей: защита моделей от опасного контента приняла криминалистический анализ атаки за саму атаку. В итоге Hugging Face провела расследование через китайскую модель, GLM-5.2 от Z.ai. Настоящая претензия Томпсона в том, что ограничения администрации Трампа на использование топовых моделей вроде Fable и Sol для защитной работы по кибербезопасности сами создали эту зависимость: США заперли собственных защитников от использования американских моделей для защиты американской инфраструктуры.

Тред протестировал 50 моделей и получил обратный ответ

Тезис Томпсона о том, что интеллект становится товаром, вызвал больше всего возражений, и самое сильное пришло с цифрами.

«Интересно, что на самих задачах топовые модели показали результат хуже открытых. Зато по стоимости картина перевернулась: топовые модели оказались намного экономнее по токенам. По сути, почти ни одна открытая модель не уложилась в исходный токен-бюджет, а почти все топовые уложились». — инженер, протестировавший около 50 моделей всех крупных семейств для продакшен-системы с токен-бюджетом

Это почти обратное тому, что говорит Томпсон: не то что интеллект выровнялся в товар, а то что топовые модели выигрывают именно по метрике эффективности, которая, по его словам, должна была сравняться.

Было ли преимущество в дистилляции вообще уникально китайским

Кто-то усомнился, что центральная асимметрия Томпсона (китайские лаборатории свободно дистиллируют, а американские не могут) вообще подтверждается фактами.

«Это утверждение чем-то подкреплено? ...В четверг на суде в федеральном суде Калифорнии Илона Маска спросили, использовала ли xAI дистилляцию моделей OpenAI для обучения Grok, и он заявил, что это общепринятая практика среди ИИ-компаний». — бывший основатель ML-компании, позже технический директор стартапа по ИИ-политике

Если основатель американской топовой лаборатории под присягой заявляет, что дистилляция стала общепринятой практикой всей индустрии, специфически китайский провал политики у Томпсона начинает выглядеть как проблема «все так делают», просто с юридической ширмой.

Ров агентной оболочки реален, или так только кажется, пока не переключишься

У второго аргумента Томпсона, о том, что липкость Claude Code и Codex образует устойчивый ров, нашёлся контрпример из личного опыта читателей.

«Я уже давно строю собственную агентную оболочку и могу с уверенностью сказать: оболочка почти не имеет значения, вся магия ИИ в самой модели». — инженер, который давно строит собственную агентную оболочку

Другой комментатор описал переход с Claude Code на Codex, а до этого с Cursor, оба раза без малейшего трения: полная противоположность привязке, которую описывает Томпсон.

Если никто особо не боится китайских моделей, то кто боится на самом деле

Тред ответил на вопрос из заголовка эссе буквальнее, чем сам Томпсон.

«Больше всех китайских моделей боятся венчурные фонды, вложившиеся в Anthropic и OpenAI по астрономическим оценкам. Anthropic оценивают в $1,2 трлн, а OpenAI метит на $850 млрд». — комментатор с более чем десятилетним стажем на HN и картой больше 6700

Эти оценки были заложены под лаборатории с премиальной маржой на доступ к API. Если Kimi K3 и Qwen3.8 Max запустят гонку цен на токены вниз, страх, который называет заголовок Томпсона, на самом деле не про национальную безопасность. Это про то, стоят ли две самые дорогие частные компании в технологиях столько, сколько за них только что заплатили инвесторы.

Получайте такие разборы каждый день

Главные истории Hacker News — на email, в Telegram или RSS.

Следующая новость · 20 из 27 Читать дальше
🌍Other

Блогер перестал называть тексты «контентом» — тред согласился не весь

Майкл Линч открывает эссе шуточным питчем «Давида» Микеланджело: с показателями вовлечённости и конверсии — чтобы показать, как нелепо звучит язык бизнеса применительно к настоящей работе. Дальше он объясняет, почему перестал называть свои посты «контентом», а читателей «трафиком».

★ 150 · 💬 115 · refactoringenglish.com · 6 мин