Роутер выбирает самую дешёвую модель под каждый запрос — и вот почему это дороже
Workweave обещает экономию 40–70% за счёт маршрутизации каждого запроса к оптимальной модели менее чем за 50 мс. Самые авторитетные голоса в треде объясняют, почему математика не сходится: каждая смена модели уничтожает кэш промптов, который и делает агентное кодирование доступным.
Инструмент работает как drop-in прокси поверх Anthropic, OpenAI, Gemini и открытых моделей: оценивает каждый запрос и маршрутизирует его, шифрует ключи, разворачивается локально. Обещание — минус 40–70% к счёту «просто сменой эндпоинта».
Структурное возражение: агентные сессии живут на кэшировании промптов с TTL пять минут, а чем больше разных моделей задействовано, тем больше промахов кэша. Схема «плановщик + исполнитель» из двух моделей уже даёт выигрыш без этой турбулентности.
Питч: один эндпоинт, минус 40–70%
Роутер Workweave — drop-in прокси, который оценивает каждый входящий запрос локальным эмбеддером и направляет его к лучшей модели из Anthropic, OpenAI, Gemini и открытых моделей через OpenRouter. Обещание: «Сократите затраты на 40–70% просто сменив эндпоинт», решение за «менее чем 50 мс», ключи зашифрованы, есть путь к self-host. Подключается к Claude Code, Codex, Cursor и opencode.
Проблема кэша, которую поднимали опытные участники треда
Главное возражение экспертов касалось не качества маршрутизации, а того, что маршрутизация разрушает. Бывший инженер Meta, работавший над HHVM, сформулировал противоречие:
«Кэширование и оптимальная маршрутизация отдельного запроса противоречат друг другу. Чем больше разных моделей в разговоре, тем больше промахов кэша вы получаете. Примитив из двух моделей — плановщик и исполнитель — уже достаточен.»
Разработчик, строящий на этих API, добавил то же самое с точки зрения агентного кодирования: «Это длинные цепочки вызовов инструментов, которые сильно зависят от кэширования промптов. Смена модели на лету обходится дорого.» Вывод неудобный для заголовочной цифры: именно в том сценарии, на который нацелен инструмент, Claude Code и Cursor, экономия от дешёвой модели может быть съедена промахом кэша после переключения.
Два вопроса, которые остались без ответа
Помимо кэша, CISO, ставший основателем стартапа, усомнился, что малые модели вообще доводят задачу до конца: они «склонны останавливаться до завершения, выбрасывать ошибки и уходить в циклы», а роутер это не учитывает, и README об этом молчит. Ещё один участник попросил то, что расставило бы всё по местам: «Вы проводили A/B-тесты с доказательствами?» по утверждению «качество не страдает». Идея явно привлекательна: несколько комментаторов признались, что сами строят нечто похожее. Но вердикт треда таков: умная маршрутизация окупается только тогда, когда она достаточно умна, чтобы уважать кэш, на который тратит деньги.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
The Economist пишет, что бунт против ИИ только начался — тред говорит: дело в размере, не в кремнии
Редакционная колонка предупреждает политиков: revolt против ИИ только набирает силу, и предлагает четыре ориентира. Читатели заметили, что материал в целом проИИшный, что злость двухпартийная, и что настоящая мишень — не технология, а горстка компаний, захвативших чужое внимание.