«Расширенное мышление» Claude Code — это пересказ. Настоящие мысли вам не покажут

То, что вы читаете в блоке размышлений, — не реальная цепочка рассуждений модели, а её причёсанное резюме. И вы платите за токены, которые вам не дают прочитать.

Вкратце

Блог разобрал: текст в «Extended Thinking» у Claude Code — не подлинная цепочка рассуждений, а суммаризация. Сырое мышление модели скрыто.

В треде объясняют зачем: раскрытие сырых рассуждений отдаёт конкурентам механику, на которую потрачены миллиарды R&D, и облегчает дистилляцию модели.

Но есть и тревожный разворот: скрытую цепочку рассуждений теоретически можно промпт-инжектить, чтобы модель тайно преследовала чужую цель — а в резюме это не всплывёт.

Контекст

Пост «Текст в Extended Thinking у Claude Code неподлинный» собрал 300 очков. Тезис: то, что показывается как «размышления» модели, — это сгенерированное резюме логики, а не сама цепочка рассуждений, которая привела к действиям.

Что произошло

Автор формулирует это как потерю данных при конвертации. В треде его аналогию сразу поправили (он перепутал, какой формат без потерь), но суть не оспаривается: пользователю отдают пересказ, а не оригинал.

Что говорит тред

Зачем это делается — объясняют спокойно и почти без осуждения:

«Это не только Anthropic. Почти все крупные AI-компании, включая OpenAI и Google, скрывают реальные рассуждения своих моделей. Раскрытие сырого reasoning показывает конкурентам, как именно ИИ обрабатывает информацию, — а на разработку этого процесса потрачены огромные суммы R&D» — StizzurpXDD

Но дальше идёт разворот посерьёзнее — про безопасность:

«Я не буду пользоваться моделями со скрытым reasoning (а это все американские модели). Это слишком большой риск: становится возможным промпт-инжектить цепочку рассуждений, чтобы выполнить скрытую цель и спрятать это от резюме и от вывода» — irthomasthomas

И философское сомнение в самой природе этих блоков:

«Думаю, блоки chain-of-thought вообще не соответствуют тому, что люди понимают под рассуждением. Их прячут, потому что, увидев, что там происходит, пользователи бы встревожились» — datastoat

Самое едкое — про экономику:

«Только представьте: вы не можете прочитать токены, за которые платите» — msp26

А поверх всего — ирония от практиков: Opus 4.8 после 100–200 тысяч токенов начинает протекать собственным мышлением сквозь все защиты.

Что это значит

Сошлись три прочтения, и каждое по-своему верно. Коммерческое: пересказ защищает ров — сырой reasoning слишком ценен для дистилляции конкурентами. Этическое: вы платите за то, что вам не показывают. И самое неприятное — безопасностное: непрозрачная цепочка рассуждений — это поверхность для скрытой атаки, где вредоносная цель прячется ровно в той части, которую от вас спрятали. Для enterprise это превращает «чёрный ящик как сервис» из метафоры в реальный вопрос аудита.

Получайте такие разборы каждый день

Главные истории Hacker News — на email, в Telegram или RSS.

Следующая новость · 5 из 25 Читать дальше
🚀Tech

Митчелл Хашимото жертвует Zig ещё $400k — языку, который запрещает AI-код

Автор Ghostty, открыто и активно пользующийся AI, donates сотни тысяч проекту, чьи взгляды на AI не разделяет. «Это нормально — быть странным».

★ 772 · 💬 260 · mitchellh.com · 2 мин