OpenRouter Fusion опрашивает панель моделей, судья выбирает ответ — в 7 раз медленнее и в 4 дороже

Fusion отправляет ваш промпт нескольким моделям одновременно, затем модель-судья синтезирует один ответ. На исследовательском бенчмарке — хорошие результаты. Разработчики в треде, уже пробовавшие то же самое, объясняют, почему судья по большей части вознаграждает сам себя.

Вкратце

Быстрая проверка одного инженера дала ответ без прикрас: примерно в 7 раз медленнее и в 4 раза дороже прямого вызова одной фронтирной модели — Fusion попадает в категорию «использовать только когда очень нужно».

Главное возражение пришло от того, кто уже выпустил точно такое же несколько месяцев назад: просьба к одной модели оценить ответ другой измеряет лишь, насколько он похож на то, что судья сказал бы сам. Это температура, одетая в костюм панельной дискуссии.

Что делает Fusion

Обзор OpenRouter Fusion
Обзор OpenRouter Fusion

OpenRouter Fusion превращает один промпт в «небольшое многомодельное совещание»: панель моделей анализирует запрос параллельно с включённым веб-поиском, затем модель-судья синтезирует их ответы в один — с учётом «консенсуса, противоречий, частичного покрытия, уникальных наблюдений и слепых пятен». Есть пресет Quality и более дешёвый Budget; цена складывается из всех вызовов. Один читатель добавил контекст из анонса: маршрутизация через несколько моделей и объединение ответов поднимает результаты на бенчмарке по глубокому исследованию — за счёт времени.

Реальность по стоимости и задержке

Практики первым делом взяли и измерили.

«Я провёл быструю проверку — посмотреть, как это выглядит качественно по сравнению с прямым вызовом Opus 4.7 или GPT 5.5. Как и ожидалось, Fusion оказался в 7 раз медленнее и в 4 раза дороже. Это не упрёк... просто Fusion попадает в категорию «использовать только когда действительно надо».» — основатель компании по инструментам безопасности, проводивший проверку

Где это окупается, заметил другой: в задачах с малым токен-бюджетом и высокими ставками — например, анализ спецификации на пробелы перед написанием кода, где «швырнуть как можно больше LLM на задачу стоит того вне зависимости от цены».

«Просишь одну модель оценить другую» — вскрытие от разработчика

Самый острый разворот пришёл от того, кто уже сделал это и закрыл проект.

«Я создал «Fusion» несколько месяцев назад в виде MCP... После обширного тестирования я обнаружил: когда просишь одну модель оценить ответ другой, ты на самом деле не получаешь лучшего ответа. Ты просто спрашиваешь её: «насколько это похоже на то, что ответила бы ты сама?»» — разработчик, выпустивший ту же концепцию

Его вывод: дополнительные раунды и «очевидные» улучшения сводятся к «простому повышению температуры». Второй разработчик сообщил то же самое в сравнении с фронтирной моделью: вывод Fusion ощущается как «слегка диверсифицированный ответ от моделей того же класса pre-Fable SOTA», без той глубины, которой достигает одна сильная модель. И один тестировщик заметил кое-что странное в логах: счёт выставили за вызов модели, которая не входила в его выборку, и выяснилось это лишь после.

Панель — это не умный член этой панели

Fusion — чистая реализация интуитивной идеи: несколько голов лучше одной. На исследовательском бенчмарке это видно. Но разработчики, поработавшие с жюри из моделей, снова и снова упираются в одну стену: модель-судья способна вознаградить только то, что напоминает её собственные рассуждения, поэтому ансамбль надёжнее повышает разнообразие и стоимость, чем точность. Честная ниша та, которую показала проверка: редкие, дорогостоящие, высоковалентные запросы, где вы готовы заплатить в 4 раза больше, чтобы снизить риск — не ваш обычный чат.

Получайте такие разборы каждый день

Главные истории Hacker News — на email, в Telegram или RSS.

Следующая новость · 19 из 22 Читать дальше
🚀Tech

Typst 0.15 привёз множественные библиографии и полноценный HTML-экспорт — «убил индустрию инвойсов»

Новый релиз конкурента LaTeX добавляет функцию, которую исследователи ждали годами, и серьёзно продвигает экспорт в HTML/MathML. В треде — люди, которые уже строят на нём бизнесы и пишут книги. И один честный пробел.

★ 279 · 💬 77 · typst.app · 3 мин