ИИ-инструмент с «экономией 90% токенов» назвали иллюзией — автор признался, почему написал

Тщеславная цифра встречает скептика

Статья «The Token Compression Illusion: Why I'm Skeptical of RTK» критикует класс инструментов, сжимающих вывод терминала перед передачей в ИИ-агент. В центре внимания RTK — наиболее популярный из них, заявляющий 60–90% экономии токенов. У автора пять конкретных возражений, и первое самое главное.

«Это не 90-процентное снижение вашего реального счёта за LLM; это лишь процент сырого вывода командной строки, который RTK убирает.»

Остальные следуют: сжатый текст может быть незаметно искажён, а агент не узнает, что критическая строка пропала; нет бенчмарков Task Success Rate, значит экономия не сопоставлена с качеством; форматирование вывода лучше делать нативными флагами --json или --compact в самих инструментах, а не внешним прокси; и regex-фильтры молча ломаются, когда инструменты меняют формат вывода.

Тред, доказавший обе стороны сразу

Ответы стали на редкость чистым натуральным экспериментом, потому что экономия целиком зависит от вашей сессии.

«Я попробовал — он не сжимает сообщения, которые составляли 90% моего контекста, поэтому сжимается только малая часть использования токенов… Если смотреть /context, скорее всего окажется, что вызовы инструментов — не там, где вы тратите токены.» — tlarkworthy, бывший разработчик Google

«После использования в одной сессии на 300k токенов я сэкономил, может, 3k токенов.» — инженер, замерявший одну 300k-токенную сессию

Зеркальная картина была столь же реальна для тех, чья работа насыщена выводом инструментов: «Я возьму 3,7M токенов экономии из 3,9M входящих. Сэкономленные токены есть сэкономленные токены». Спор не о том, сжимает ли RTK: все согласны, что инструментный вывод сжимается в 8 раз. Вопрос в том, вывод инструментов ли — место, куда уходят ваши токены; а это факт о конкретном рабочем процессе, а не универсальный.

«Вы, знаете ли, могли бы измерить это сами»

Самый жёсткий ответ атаковал статью за тот же грех, в котором она обвиняет RTK: утверждение проблемы без данных.

«Есть ли у вас какое-то основание полагать, что тысячи разработчиков, использующих RTK, молча губят свою производительность, не замечая этого? Вот мысль: вместо того чтобы сообщать, что КТО-ТО ДОЛЖЕН ЭТО ИЗМЕРИТЬ, вы могли бы, знаете ли, измерить это сами.» — jbellis, основатель Brokk

Другие подкрепили тревогу живыми примерами без бенчмарков: «Я наблюдал, как агенты гоняются по кругу или придумывают нелепые обходные пути после путаницы из-за вывода RTK». Мейнтейнер аналогичного конкурирующего инструмента признал тупик: «Построить бенчмарк для такого очень сложно и дорого из-за комбинации (harness) × (model) × (mcp/cli)».

Автор появляется и называет настоящую причину

Самый полезный комментарий треда написал сам автор, переформулировав статью из технического спора в рабочий.

«Автор текста здесь… RTK как инструмент ИИ кажется мне как инженеру очень странным: количество звёзд, ни слова о точности, и менеджмент продвигает эту штуку для оптимизации затрат.» — автор статьи, старший Ruby-разработчик

Этот контекст разрешает взаимное непонимание. Защитники правы: для соло-разработчиков и насыщенных инструментами сессий RTK экономит реальные токены, и никого не «обманывает» безвредная тщеславная метрика. Настоящий страх автора — организационный: инструмент с тысячами звёзд и нулём данных по точности насаждается сверху для сокращения счёта на 2,5 млн токенов в месяц, всё больше охватывая команды разработчиков, которых один комментатор описал как людей, «ставших магами, бормочущими заклинания, а не инженерами». Статья тонка по данным, именно как и упрекают критики. Лежащий за ней тренд — нет: давление токен-затрат реально настолько, что непроверенное сжатие становится политикой раньше, чем кто-то договорился, как измерить, не вредит ли это.