Доказательство блогера, что AI не понимает контекст, рассыпалось при первой проверке

Почему в логах rachelbythebay полно постов, которых не существует

Рэйчел, которая пишет под ником rachelbythebay и больше десяти лет ведёт блог про бэкенд-инженерию, открыла свежий пост паттерном, замеченным в собственных веб-логах: обращения к URL, совпадающим по формату дат с её сайтом, к постам, которых она никогда не писала. Её трактовка: языковая модель, которую попросили пересказать или процитировать её тексты, придумала правдоподобно звучащий заголовок и адрес, а читатель прошёл по выдуманной ссылке прямо в 404.

Она связывает это с давней идеей, переприменённой к новой машине. Задолго до LLM писатель Майкл Крайтон описал то, что теперь называют «эффектом амнезии Гелл-Манна»: читаешь статью на тему, которую хорошо знаешь, ловишь каждую фактическую ошибку, а потом переворачиваешь страницу и так же доверяешь следующей статье. В версии Рэйчел на место статьи встаёт чат-бот. Спрашиваешь его о том, в чём реально разбираешься, ловишь на выдуманных фактах, а потом спрашиваешь о том, в чём не разбираешься, и всё равно веришь ответу.

Её тест на «настоящее» понимание: пробки в китайском квартале на Новый год

Чтобы доказать, что нынешние модели именно угадывают по паттернам, а не понимают, она предлагает один тестовый вопрос — по её словам, годами задаёт его новичкам в районе залива:

«Начало года. Вы хотите проехать прямо через центр китайского квартала в Сан-Франциско. Почему это может быть плохой идеей?»

Ответ, по её словам, требует заземлённого знания о мире, которое никаким статистическим предсказанием текста не подделать: празднование китайского Нового года каждый год перекрывает улицы и забивает пробками весь район. Дальше она идёт ещё дальше, утверждая, что всё, что обладает настоящим пониманием, обладало бы и достаточным чувством себя, чтобы сопротивляться управлению:

«Так что всякий, кто хочет загнать такую сущность в стойло и заставить делать что велено? Да, такой человек хочет рабов.»

HN вставил её тестовый вопрос прямо в ChatGPT

Первым делом тред не стал спорить, а просто провёл эксперимент.

«Кажется, посыл в том, что модели недостаточно умны, чтобы это понять, а если бы были достаточно умны, были бы разумны и хотели автономии. Для статьи о том, как всё выдумывают и слишком доверяют, это само по себе выглядит подозрительно.» — инженер, прогнавший этот же вопрос через три отдельные сессии ChatGPT

Второй комментатор, из исследовательской группы по AI-безопасности Palisade Research, получил тот же результат с первой попытки:

«Да, очевидно, что даже самые тупые из нынешних моделей на этот промпт дословно правильно отвечают — из-за китайского Нового года.» — Бен Вайнштейн-Раун, Palisade Research

Возражения не ограничились тестовым вопросом. tptacek, известный на сайте security-инженер, отверг саму суть поста: «В этом посте по сути нет ничего, кроме утверждения, что LLM — это стохастические попугаи. Это был живой спор два года назад. Писать такое в 2026-м — очень странно».

Не все набросились: проблема фантомных URL реальна, просто не в той трактовке

Другие комментаторы отошли от рамки «AI тупой», но не от базового наблюдения Рэйчел. Один читатель развернул смысл самих 404-х:

«404-е означают, что кто-то или что-то проверило, существует ли пост по этому адресу, и получило чёткий ответ. По крайней мере хорошо, что проверили.» — skybrian, отставной software-инженер, на HN с 2009 года

А хозяйка ещё одного блога сказала, что у неё на сайте происходит то же самое, только острее:

«На мой сайт тоже заходят LLM по URL, которые никогда не существовали, причём часто на темы, которые я вообще никогда не затрагивала. Это значит, что моё имя используют, чтобы придать достоверность вещам, которых я никогда не говорила.» — основательница сайта релокационных советов All About Berlin

Именно эта часть треда переживёт спор про китайский квартал: что бы вы ни думали о теории Рэйчел насчёт машинного сознания, реальные люди видят реальный трафик на выдуманные URL, приписанные их именам, к текстам, которых они никогда не писали.