Fireworks признались: их роутер отдал Kimi K3 96% задач, а не своей модели

Fireworks прогнала 1030 задач через Kimi K3 и Fable, а затем дала выбрать идеальному роутеру

Fireworks AI, платформа для инференса моделей с открытыми весами, опубликовала бенчмарк, сравнивающий открытую Kimi K3 с закрытой Fable на 1030 агентных задачах: 460 реальных исправлений багов в репозиториях (SWE), 89 долгих терминальных сессий по безопасности, криптографии и системному программированию, 100 алгоритмических задач в стиле LeetCode и AtCoder, 225 реализаций на шести языках программирования и 120 юридических задач, оценённых юристами. Вместо того чтобы выбрать одного победителя, компания прогнала каждую задачу через обе модели, а затем смоделировала роутер, который всегда выбирает модель, справившуюся с задачей за меньшую цену — «оракул» с идеальным предвидением.

Этот оракул отдавал Kimi K3 от 72% до 96% задач в зависимости от категории, сокращая общий счёт в 1,5–50 раз по сравнению с прогоном всего через одну Fable. По чистой точности модели шли почти вровень: Fable обошла K3 со счётом 92,6% против 92,4% на наборе SWE, но пришли к этому по-разному. K3 в среднем тратила 55 ходов и 1,3 миллиона токенов на задачу SWE против 21 хода и 130 000 токенов у Fable, но кеширование промптов поглощало этот лишний объём настолько, что K3 всё равно оставалась дешевле. На терминальных задачах K3 победила в 11 из 89 случаев, где Fable провалилась, против 7 в обратную сторону. Формулировка самой Fireworks: «Одиночные модели расточительны и больше не являются SoTA».

«Ничья», когда побеждает Fable, «победа Kimi», когда побеждает Kimi

В теме первым делом раскритиковали не цифры, а формулировки.

«Похоже, статья довольно предвзята: например, когда Fable и Kimi близки, но побеждает Fable, это «ничья», а когда побеждает Kimi — это «победа Kimi»». — комментатор с кармой более 15 900, на HN с 2009 года

Постоянный клиент разворачивается против поставщика

За этим последовало обвинение и посерьёзнее — уже не в адрес формулировок бенчмарка, а в адрес самой Fireworks.

«AI-мусор от поставщика инференса, который хайпит открытую модель, которая на деле не открытая — иначе поставщик инференса сам бы её хостил, — а заодно у него нет и в помине этого роутера, которым он так гордится, ни в каком виде... Я уже в курсе, что они врут о пропускной способности токенов на 50–100% на AA и в Twitter, даже когда берёшь выделенный сервер». — комментатор, который называет Fireworks обычно своим любимым провайдером открытых моделей

Что на самом деле значит «оракул» и почему его никто не может купить

Вся методика Fireworks держится на одном слове, которое пост так толком и не раскрывает: оракул.

«Статья о том, чего в теории можно добиться с идеальным роутером. Вывод в том, что строить хороший роутер стоит. Но он вряд ли будет идеальным». — инженер на пенсии

Во втором ответе назвали цену, которую эта разница стоит на практике.

«Они считают, что в итоге такая модель-роутер должна непрерывно дообучаться на ваших собственных нагрузках, чтобы принимать лучшие решения именно для вас». — основатель стартапа из Сингапура

То есть тому, кто хочет применить это в проде, мало доступа к Kimi K3 и Fable. Нужна модель-роутер, переобученная на собственном наборе задач и постоянно обновляемая по мере изменения обеих моделей под ней.

Самый первый ответ в теме, до сих пор без ответа спустя 165 комментариев, задал вопрос, который все остальные пропустили: «какие у меня варианты, если я хочу использовать такой роутер? кто его предоставляет?» Никто не ответил. Fireworks доказала, что роутинг выгоднее выбора одной модели. Аргумент сработал. Но никто в теме не смог сказать, где купить то, что заставляет его работать.