Инструмент режет счёт за нейросеть на 60%, превращая текст в картинки
pxpipe превращает промпты в плотные PNG перед отправкой, потому что визуальные токены тарифицируются по пикселям, а текстовые — по символам. Счёт это снижает. Но при встрече с паролем инструмент тихо галлюцинирует, а Gemini, замечает тред, отдаёт те же токены бесплатно.
pxpipe превращает текст в картинки колонками по ~1928 пикселей и конвертирует только там, где это выгоднее ~19 символов на токен: заявленная экономия — 59–70% итогового счёта. Метод с потерями: 12-символьную hex-строку модель верно вспомнила лишь 13 раз из 15.
Комментаторы зовут это лазейкой в учёте токенов, а не экономией. Gemini и так распознаёт PDF через OCR и не берёт денег за извлечённый текст; разработчик, пробовавший тот же трюк год назад, получил больше токенов на выходе и счёт побольше.
Что делает pxpipe и где он ломается
pxpipe работает как локальный прокси: он перехватывает ваши вызовы API и превращает плотный по токенам текст (системные промпты, документацию инструментов, код, логи) в PNG-картинки перед отправкой, пользуясь тем, что изображения тарифицируются по размеру в пикселях, а текст тарифицируется по числу символов. Последние реплики диалога он оставляет текстом и превращает в картинку только те куски, где математика выгодна (примерно от 19 символов на токен). Заявка: экономия 59–70% на итоговом счёте; в одной трассировке счёт упал со $100 до примерно $41 на 13 709 запросах.
| Задача | Результат в виде картинки | Примечание |
|---|---|---|
| Арифметика | 100% верно | при −38% токенов |
| Отслеживание состояния | 18/18 | — |
| SWE-bench Lite | 10/10 | −65% размера запроса |
| Точное воспроизведение 12-символьной hex-строки | 13/15 | «тихие галлюцинации, а не ошибки» |
Именно эта строка служит предупреждающей этикеткой: никогда не превращайте в картинку хеш, пароль или значение, которое должно быть точным до байта.
«Это лазейка в учёте токенов»
Тред оценил находчивость, но не поверил в саму идею. Самое отрезвляющее сравнение показало, как эту же задачу уже решает другой поставщик:
«В Gemini... если посмотреть, как они обрабатывают PDF, там делают OCR, а затем отдают модели текст и картинку, не беря денег за текстовые токены... так что этот трюк, скорее всего, просто лазейка в учёте токенов, которую рано или поздно прикроют» — комментатор, описавший обработку PDF в Gemini
Кто-то уже ставил этот эксперимент, и результат вышел обратный:
«Я пробовал то же самое год назад (с моделями OpenAI). Тогда это снижало число токенов в промпте, но требовало намного больше токенов на выходе, а в итоге выходило дороже (и медленнее)» — разработчик, повторивший тот же приём годом раньше
Точнее всего эту историю описал комментатор, сравнивший её с фермами кобр:
«Это работает, и это находчиво, но... это явно костыль для дыры в тарификации. Как премия за ядовитых змей однажды привела к тому, что люди начали их разводить, так и это просто эксплуатирует и поощряет расточительство... вина лежит на Anthropic за плохую тарификацию» — комментатор, увидевший в этом арбитраж на перевёрнутых стимулах
Вывод для тех, кто уже думает внедрить это себе: вы покупаете не прорыв в сжатии, а аренду прорехи в тарифах. В день, когда провайдер начнёт тарифицировать изображения так же, как Gemini уже тарифицирует текст из PDF, экономия в 60% испарится, а вместе с ней и любой резон мириться с риском галлюцинаций.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Ubicloud: OOM killer в Linux способен разом оборвать все соединения Postgres. Сооснователь признал: перебор
Когда Linux убивает один процесс Postgres, чтобы освободить память, общее состояние может стать противоречивым, поэтому постмастер убивает сразу все процессы, и рвётся каждое соединение. Решение Ubicloud — один параметр sysctl. А затем в тред пришёл сооснователь Ubicloud и сказал, что заголовок вышел слишком резким.