Стэнфорд: профессора права предпочли ответы ИИ коллегам в 75% дуэлей — но есть звёздочка

Стэнфорд заявил: профессора права предпочли ответы ИИ ответам коллег в 75% случаев

Пресс-релиз Стэнфордской школы права вышел под лобовым заголовком «ИИ обходит профессоров права» и за несколько часов собрал 217 очков и 171 комментарий в обсуждении. Звучит как приговор профессии — но если открыть саму работу, картина оказывается куда уже.

Что именно измеряли: 16 преподавателей, 40 вопросов, почти 3000 сравнений

Исследование вёл профессор Джулиан Ньярко через лабораторию liftlab (Legal Innovation through Frontier Technology) при участии коллег из Йеля, NYU и Чикаго. Дизайн был такой:

• 16 преподавателей контрактного права из американских юршкол составили 40 типовых вопросов по курсу и написали к ним собственные ответы.
• Затем те же преподаватели вслепую провели почти 3000 попарных сравнений (медиана — 200 на судью): им показывали два анонимных ответа — преподавательский и сгенерированный моделью — и спрашивали, какой лучше.
• Среди систем — коммерческие обучающие платформы и Google NotebookLM.

Главные цифры релиза: ответы ИИ выигрывали 75% очных дуэлей против ответов живых преподавателей, и их помечали как «педагогически вредные» лишь в 3,5% случаев против 12% у людей. Ньярко подчёркивает: «Это были не простые вопросы с очевидными ответами — многие требовали синтеза сложного материала».

Ключевой нюанс, который теряется за заголовком: работа называется «Профессора права предпочитают ИИ ответам коллег» и посвящена тому, насколько LLM годятся как репетитор для студента-первокурсника, а не замена адвокату в суде.

Тред: «16 профессоров по 3000 сравнений — у исследования нет статистической силы»

Самый цитируемый скепсис — методологический. Скептик, разобравший Figure 2 на 6-й странице, бьёт тревогу:

«Рисунок 2 кричит о проблемах. Здесь всего 16 профессоров, преподаватели разбросаны кто куда — это очень высокая дисперсия, то есть у исследования нет осмысленной статистической силы. И явное смещение: в основных результатах фигурируют только модели Google».

Дальше всплывает конфликт интересов. Комментатор, нашедший спонсора:

«Работа сделана институтом Stanford HAI с очевидным уклоном, и в статье любопытным образом отсутствует декларация конфликта интересов. UPD: выяснил, что Google — крупный донор HAI. То есть исследование как минимум частично финансировал Google. Видимо, поэтому авторы и не задекларировали конфликт».

Отсюда — и объяснение, почему побеждал именно Gemini. Версия из треда:

«Моё предположение: Gemini обучали на тех же учебниках, по которым составлены вопросы, поэтому он лучше в буквальном припоминании. А курс, судя по методологии самой статьи, вводный и довольно ограниченный».

«Перепишите заголовок честно»

Отдельная ветка — про разрыв между скромной работой и громким релизом. Комментатор предложил честный заголовок:

«Удивлён, что Стэнфорд подписался под таким раздутым заголовком пресс-релиза. Как насчёт: "По типовым вопросам контрактного права первого курса профессора предпочли ответы ИИ ответам профессоров"?»

Тот же мотив подхватывает реплика о том, что академики начали разговаривать языком CEO ИИ-лабораторий, накачивающих оценки громкими заявлениями.

Где ИИ реально помогает — и где ловушка

Практики из треда сходятся в одном: ценность инструмента зависит от того, кто за рулём. Сисадмин провёл аналогию:

«Это верно для большинства квалифицированных профессий. ИИ полезнее всего в руках того, кто уже владеет навыком. Это как я гуглю что-то как сисадмин против того, как гуглит Джейн из бухгалтерии — нетехнический пользователь скорее сделает хуже».

А вот предупреждение от человека, который реально гонял Claude и GPT на юрдокументах. Главная ловушка — галлюцинации цитат:

«Самая большая ловушка — выдуманная ссылка. Он легко вставит абсолютно достоверно звучащую цитату из другого дела, которая идеально доказывает твою позицию, а потом придумает к ней правдоподобное название вроде "США против Shenzhou Electronics Inc". После пары удачных проверок расслабляешься — и тут-то и попадаешь».

И отрезвляющая личная история о том, что «безобидный» черновик завещания таковым не является. Человек, разбиравший наследство отца:

«Совсем не безобидно, если ты душеприказчик и вынужден разгребать кривое ИИ-завещание. Я этой весной занимался наследством отца — это мучительный и запутанный процесс даже с простейшими делами».

Вывод: это не «ИИ заменил юриста», а «ИИ — приличный репетитор по вводному курсу»

Если убрать рамку пресс-релиза, остаётся аккуратный, но узкий результат: на типовых вопросах вводного курса контрактного права преподаватели вслепую чаще выбирали ответ модели — причём модели, обученной, возможно, на тех же учебниках, в исследовании со спонсором, заинтересованным в результате. Это говорит о репетиторстве, а не о замене практикующего юриста, где цена галлюцинированной цитаты — реальное дело и реальные деньги. Заголовок продаёт революцию; работа описывает хороший учебный инструмент с большой звёздочкой про надзор эксперта.