«100k до обеда»: полезное окно контекста — лишь доля цифры на коробке

Тезис: цифра на коробке — это маркетинг

Пост доказывает, что заявленные окна контекста (200k, 1M, 2M) — в основном маркетинговая цифра, потому что реально пригодна лишь доля. Есть «умная зона» примерно в 100k токенов и «тупая зона» после неё, где модель тихо деградирует. А в реальной работе агента стену встречаешь быстро: «Несколько чтений файлов, долгая сессия отладки, размашистый прогон тестов — и ты на 100k до обеда».

Автор опирается не на одни ощущения. Он указывает на два исследования: RULER (arxiv 2404.06654), которое показывает падение качества по всему окну, и отчёт Chroma о context-rot, документирующий характер деградации. Рецепт: относиться к контексту как к бюджету, выталкивать состояние из живой сессии в письменные артефакты (PRD, планы, передаточные заметки), а не доверять автоматическим резюме.

Практики не сходятся, где именно стена

Тред превратился в облако личных порогов, и они далеко разбросаны. Один из основных мейнтейнеров сообщил, что у самого верха окна проблем по сути нет:

«Я штатно захожу за 500k токенов, иногда до примерно 800k, и не вижу этой проблемы… то, что я наблюдаю, не настолько серьёзно, как, похоже, видит автор» — один из ключевых разработчиков Xfce, экс-Twilio

Противоположный отчёт прозвучал столь же уверенно: тупая зона приходит куда раньше авторских 100k:

«Я вижу, как модели opus совершают базовые ошибки припоминания при <100k токенов. Лично я считаю умной зоной для opus < 60k» — Bolwin

Несколько человек сошлись на том же приёме, что рекомендует пост, не называя его: один разговор на одну задачу. Основатель ZeroTier и другие описали, как выталкивают все вызовы инструментов в рекурсивные суб-агенты, чтобы корневой поток «мог вести один и тот же высокоуровневый разговор целый день по кодовой базе на миллион+ строк», сжигая 50 млн токенов в дочерних вызовах и ни разу не дойдя до 100k наверху.

Возражение, что весь тред — это анекдот

Самый острый мета-комментарий указал на структуру самой дискуссии.

«Почти каждый комментарий здесь апеллирует к личному опыту. А вот OP ссылается на два исследования, которые сравнивают качество на каком-то стандартизированном тесте… они не могут быть хуже анекдотических свидетельств о чём-то настолько расплывчатом/субъективном, как качество LLM» — lordgrenville

Ответ на это оказался несущим: цитируемые исследования — 2024 и 2025 годов и могут не описывать сегодняшние модели. Комментатор, который сам гонял тесты в стиле RULER, добавил: Sonnet 4 был «ужасен» на тех же промптах, где Sonnet 4.5 справился, так что бенчмарк на старой модели — это свой особый вид протухшего анекдота. А один голос заявил, что context rot вообще никогда не выделяли в чистом виде:

«его существование и серьёзность чисто анекдотичны… Под context rot обычно понимают, что модель тупеет, даже если ей не нужно помнить конкретные вещи… Это было бы легко измерить. Просто берёшь стандартные бенчмарки, но заранее забиваешь контекст» — комментатор, предлагающий очевидный эксперимент, который никто не опубликовал

Почему расхождение реально, а не шум

Тред выглядит хаосом, но сводится к одному пункту, от которого не отмахнуться: «размер окна контекста — не совсем проблема», как выразился один создатель харнесса; проблема в том, заполняется ли окно мусором. Длинный контекст из чистого, релевантного материала может оставаться острым и за 800k; то же окно, засорённое неудачными попытками и противоречивыми инструкциями, протухает заметно раньше 100k. Вот почему правы и разработчик Xfce, и Bolwin. Правило 100k от автора не столько ошибочно, сколько это число подменяет проблему качества; и, как заметил один ответ, разные модели используют разное внимание и разную компакцию, так что нет причин считать вашу стену чьей-то ещё.