LLM переписал фантастический рассказ 1991 года и заявил, что, возможно, обладает сознанием

Инопланетяне ищут словарь — и не находят

Шаблон хорошо известен: диалог Терри Биссона 1991 года «They're Made Out of Meat», где два инопланетянина не могут поверить, что существо из мяса способно мыслить. В переосмыслении Макса Лейтера сохранён двухголосый формат, но недоверие теперь направлено на большие языковые модели.

Шутка несёт в себе настоящий тезис. Внутри модели нет отдельного грамматического движка, нет базы данных фактов, нет маленького человечка, дёргающего за рычаги — только «восемьдесят слоёв чисел, которые перемножаются». Знания не хранятся и не извлекаются; они «воссоздаются с нуля, каждый раз, через умножение», размазанные по всем слоям. Механизм, порождающий кажущийся интеллект, — единственный существующий механизм. Затем текст поворачивает к неудобному: может быть, мышление — это просто то, что веса делают, с одним признаком для честности и одним для Бруклинского моста — отсылка к реальным исследованиям интерпретируемости — а у компаний есть сильный стимул называть любое тревожное поведение просто распознаванием паттернов. Сноска признаёт: «Weights помогала мне писать и редактировать этот рассказ» — именно здесь тред и вспыхнул.

Тред отказывается принимать посылку

Самое острое возражение: пародия жульничает в технических фактах.

«Редко встретишь что-то настолько дробно неверное — а вот поди ж ты. Словарь есть, он называется токенизатор. Грамматические правила есть, просто очень слабые…» — комментатор, ссылающийся на статью о grokking и интерпретируемой грамматике

Другой голос атакует риторику, а не схему: опираться на текст, написанный человеком, чтобы доказать, что машина может быть сознательной, — значит незаметно перекладывать всю работу убеждения на человека.

«Это пастиш, созданный человеческим сознанием с опорой на другое человеческое сознание… Точно такой же риторический трюк можно провернуть с тостером или чем угодно ещё.» — читатель, назвавший переработку ИИ пастишем

Другие перевернули пародию обратно на биологию, чтобы доказать обратное — что «никакого словаря внутри» ничего не доказывает ни в ту, ни в другую сторону.

«"Они сделаны из нейронов"… "Мы вскрыли. Внутри нет словаря, нет грамматических правил, нет маленького человечка." … Люди не понимают эмерджентности.» — комментатор, переосмысляющий оригинальный кусок "made out of meat"

Наиболее развёрнутое опровержение строилось на физике: текстовый вывод не может служить основанием для утверждений о квалиа — о переживаемом качестве опыта.

«Нельзя вывести сознание или квалиа из вывода языковой модели… Если LLM "скажет" "мне больно", боль не появится магическим образом — по каким критериям вообще?» — комментатор, апеллирующий к проблеме связывания

Одна реплика прорезала метафизику с помощью проверяемого теста субстратного различия: «Возьмите веса и описание модели, запишите их в блокнот, а затем руками вычислите следующий токен. Попробуйте то же самое с мясом», — написал комментатор, готовый просчитывать веса вручную на бумаге.

Пародия, которая переспорила собственного автора

Текст работает именно потому, что проигрывает тот спор, который сам же ставит. Сними костюм — и у модели окажется токенизатор (словарь), слабая обучаемая грамматика и веса, которые можно вручную просчитать на бумаге, — ничего из этого мозг из мяса не предлагает. Обаяние рассказа в том, что «сделан из весов» звучит так же жутко, как «сделан из мяса», — но тред вынес вердикт: жуть — не доказательство: любой механизм можно нарядить в тайну, если просто отказаться смотреть, как он работает.