Тьюринговский лауреат Саттон: LLM умеют варьировать, но не открывать. Тред не согласен

Аргумент Саттона его же словами

Источник — пост Ричарда Саттона, лауреата премии Тьюринга и одного из основателей обучения с подкреплением, который тред разобрал подробно. Его модель открытия состоит из трёх частей: вариация, оценка и отбор удачного. Он утверждает, что нынешний ИИ умеет первое, но не остальное, и называет механизм — стохастическую выборку:

«Когда мы просим вымысел или новизну, ИИ может их выдать, потому что его обработка отчасти стохастична… Траектория может быть случайной — и потому новой — или опираться на обучающие данные — и потому быть „хорошей“… но никогда и то, и другое одновременно». — Саттон, цитата из треда

Отсюда он переходит к призыву:

«Если нам нужна полная мощь ИИ-учёных, мы должны делиться с ними целями, чтобы они могли создавать, оценивать, открывать… Давайте полностью автоматизируем творчество и открытие!» — Саттон, цитата здесь

Контраргумент практиков: это описание эпохи предобучения

Самое цитируемое возражение: Саттон описывает парадигму, которую отрасль уже прошла.

«Этот аргумент, похоже, относится только к исходной эпохе предобучения (например, GPT 1–4). Постобучение и парадигмы обучения с подкреплением явно делают и вариацию, и оценку, и отбор удачного, разве нет?» — highfrequency

Кто-то прямо опроверг тезис «никогда и то, и другое» по технической части: «Это вроде бы неправда? Можно быть одновременно случайным и опираться на обучающие данные». А ещё один заметил, что недостающий элемент вообще не свойство самого ИИ — это доступ к миру:

«В науке люди могут заниматься „оценкой“ только потому, что у них есть доступ к реальному миру… так что это не врождённое ограничение ИИ, а вопрос доступа к физической реальности». — simianwords

Противоречие внутри собственных примеров Саттона

Тред зацепился за то, что выглядело противоречием в его же рассуждении. Саттон ставит в пример Claude Code, который «принёс настоящие достижения в науке, математике и программировании», — и нескольким читателям это трудно увязать с утверждением, что такие системы не могут по-настоящему открывать:

«Он вроде бы говорит, что Claude Code способен делать открытия… „эти системы нашли вещи, которые одновременно новы и хороши“». — anabis

Один читатель высказался жёстче: такое сопоставление «как бы говорит, что он не понимает, о чём говорит». Более сочувствующий инженер согласился, что важен именно цикл: «голая модель, которая просто сэмплит выводы, очевидно, не занимается открытием в смысле AlphaGo. Но как только помещаешь модель в цикл с тестами, обратной связью, инструментами или даже человеком, который выбирает удачный результат, она начинает подбираться куда ближе».

О чём спор на самом деле

Уберите отсылки к AlphaGo, и спор окажется о том, где проводить границу системы. Саттон оценивает модель в изоляции: сэмплируешь — и получаешь вариацию без обоснованного отбора. Его критики оценивают систему — модель плюс верификатор, плюс RL, плюс человек в цикле — и находят оценку и отбор удачного уже на месте. Правы могут быть обе стороны: голая LLM не первооткрыватель, а развёрнутые вокруг неё циклы всё чаще им становятся. Содержательный вопрос, который Саттон, собственно, и ставит (как поделиться целью настолько точной, чтобы машина могла оценивать себя по ней), тред в основном обошёл, а он-то и сложнее.