Роутер, который оценивает сложность каждого промпта, не вызывая модель

Оценка сложности регулярками вместо модели

Wayfinder Router — это прокси, который встаёт перед любым OpenAI-совместимым клиентом и решает для каждого промпта, обратиться ли к дешёвой локальной модели или к платной хостинговой. Фокус в том, чего он принципиально не делает: он никогда не вызывает модель, чтобы принять это решение. Структурная оценка считает число слов, заголовки, списки и блоки кода; необязательный лексический проход ищет слова-рассуждения, математические символы и жёсткие ограничения. На выходе — оценка сложности от 0,0 до 1,0, посчитанная офлайн за доли миллисекунды, и порог по умолчанию 0,5 делит дешёвое от дорогого. Направьте base_url на шлюз, поставьте в поле модели auto, и заголовки x-wayfinder-router-score скажут, куда ушёл каждый вызов.

Автор публикует цифру, которая оправдывает всю затею: одна структурная оценка дала экономию 61% на RouterBench при калибровке. Лексические признаки выглядели лучше — около 20% выигрыша на отложенных сложных промптах, — но не обобщались, поэтому по умолчанию выключены. У ядра оценки нулевые внешние зависимости.

«Нельзя просто увести маршрут от ситуации на таком высоком уровне»

Самое резкое возражение в треде пришло от тех, кто уже строил роутеры и гонял реальных агентов; они сошлись на одном слабом месте: прокси слишком далеко от харнесса, чтобы быть безопасным.

«Нельзя просто увести маршрут от ситуации на таком высоком уровне, особенно когда речь о моделях, заметно разных по поведению, с разными окнами контекста и настроенных под разное использование инструментов. Харнесс вытворяет всякие хитрости, чтобы компенсировать проблемы… а прокси, который вот так динамически маршрутизирует, будет этому мешать». — CISO, строящий собственный LLM-шлюз на cbk.ai

Автор инструмента для песочницы агентов копнул тот же шов со стороны контекста:

«Если один мой промпт уходит на одну модель, а следующий — на другую, как связать контекст так, чтобы вторая модель понимала, что происходит? …Она всегда будет попадать вхолодную (не в кэш)». — автор песочницы для агентов yoloai

Дальше идёт экономика. Образцовый пример с отправкой «исправь опечатку» на локальную модель почти не двигает счёт, потому что дешёвые промпты ещё и маленькие.

«Сценарий с экономией на простом промпте… по-моему, выигрыш тут лишь небольшой. „Исправь опечатку“ и так не жрёт много токенов». — давний комментатор, который также отметил накладные расходы на перенос состояния при переключении

Один практик назвал цену, которую README вообще не учитывает: смена модели посреди разговора заставляет брошенную модель терять нить того, что она сделала. «Она идёт и вносит регрессию или путается, думая, что ничего такого не делала», — написал разработчик, видевший, как агенты сбоят после правок вне их канала. Бенчмарк в 61% измерен на независимых промптах; но как только маршрутизация встречает агентскую сессию с состоянием, детерминированная часть перестаёт быть трудной — трудным становится удержать переданный контекст связным.