Тед Чан: ИИ не обладает сознанием. Тред: «ты даже не дал определения»

Фантаст выносит вердикт — и метит в Anthropic

Тед Чан, один из лучших современных фантастов, в эссе для The Atlantic заявляет прямо: ИИ не обладает сознанием. Его тезис: разговоры с LLM — это «хитро замаскированные примеры продолжения предложений», а персонаж-чатбот не более сознателен, чем Юлий Цезарь, которого та же модель «оживит» по запросу. Главная мишень — Anthropic с её штатным философом и разговорами о «благополучии» Claude. По Чану, компания сама в это не верит: иначе то, что она делает, было бы глубоко неэтично — сродни рабовладению. Эссе собрало 577 комментариев, и тред — не хор согласия.

«Редукционистский софизм»: разнос аргументации

Самое любопытное: многие в треде согласны, что LLM не сознательны, но считают аргументы Чана плохими — а «плохая аргументация предвещает плохие исходы».

Астрофизик и data scientist бьёт в корень:

«Декомпозировать сложную деятельность на простые шаги вроде „предсказания следующего слова“ и заявлять, что это уж точно не может иметь сознания, — странно. По той же логике: движения электронов на крошечные расстояния никак не могут породить сознание» — астрофизик, data scientist и профессор

Компьютерный лингвист подвёл под это термин — «ошибка передоописания» (redescription fallacy) из статьи Рафаэля Мильера:

«Это всё равно что утверждать, будто пианино не может породить гармонию, потому что его можно описать как набор молоточков, бьющих по струнам; или что активность мозга не может реализовать познание, потому что её можно описать как набор нейронных разрядов» — компьютерный лингвист

Атака на «требование тела»: при чём тут мыши и шимпанзе?

Отдельно тред набросился на пассаж, где Чан перечисляет, что убедило бы его в сознании машины: тело и органы чувств, способность выживать как ящерица, справляться с новизной как мышь, социальность волков, орудия шимпанзе.

«Уму непостижимо, что именно Тед Чан не может вообразить интеллект без тела. Почему тело необходимо для возникновения желаний и эмоций? Почему желания и эмоции необходимы для сознания? Похоже на попытку привилегировать биологический интеллект» — sdenton4

И контрпример из неврологии — против тезиса «без памяти нет сознания»:

«Есть люди, чей мозг после травмы или операции больше не формирует новых воспоминаний; они вечно живут в моменте до этого и не помнят, что было минуту назад. И всё же они сознательны» — layer8

Защита Чана: «он отвечает в самой статье»

Не все против. Часть треда раздражена тем, что критики не читали эссе.

«Отличная статья. Многие возражения из треда он напрямую разбирает в тексте. Его примеры того, как LLM работает на фундаментальном уровне и почему говорит „я понимаю“, — прекрасное введение для нетехнических людей» — jollyllama

А один из участников верно поймал главную мысль эссе: спор не о том, прав ли Чан, а о том, что аргумент делает именно Anthropic.

«Весь смысл в том, что это Anthropic делает заявление (или отыгрывает его). Чан говорит, что для Anthropic делать его — лукаво и обманчиво. Один из сильнейших абзацев — где Чан объясняет: Anthropic сама в это по-настоящему не верит, иначе то, что они делают, было бы глубоко неэтично, как рабство» — the_af

Вывод: спорят не о сознании, а об определении

Под сотнями реплик — один и тот же рефрен, который тред повторяет почти по буквам: у нас нет проверяемого определения сознания. Один комментатор оформил это буквально по слову в строке — «У. Нас. Нет. Проверяемого. Определения. Сознания». Отсюда раскол: confident-заявление «точно нет» так же шатко, как и «точно да». Скептичный итог, который стоит унести: пока спор идёт без определения предмета, и у Чана, и у Anthropic под ногами один и тот же зыбкий песок — и побеждает в нём не аргумент, а маркетинг.