Роутер выбирает самую дешёвую модель под каждый запрос — и вот почему это дороже (github.com)
Инструмент работает как drop-in прокси поверх Anthropic, OpenAI, Gemini и открытых моделей: оценивает каждый запрос и маршрутизирует его, шифрует ключи, разворачивается локально. Обещание — минус 40–70% к счёту «просто сменой эндпоинта».
Структурное возражение: агентные сессии живут на кэшировании промптов с TTL пять минут, а чем больше разных моделей задействовано, тем больше промахов кэша. Схема «плановщик + исполнитель» из двух моделей уже даёт выигрыш без этой турбулентности.
Войдите, чтобы сохранить