Профессор теории игр устроил экзамен на доверии. 50 студентов использовали ИИ

Первый за 34 года экзамен на дом обернулся первым массовым скандалом со списыванием

Материал El País рассказывает об экономисте из Брауновского университета — исследователе теории игр, — который впервые за 34 года сделал и промежуточный, и финальный экзамены домашними и с закрытыми книгами, опираясь на лиговую традицию доверять студентам. Логика была педагогической: «Это очень приятный формат экзамена: давая студентам практически неограниченное время, можно сделать его сложнее обычного и посмотреть, как далеко они зайдут». На курс записались 86 человек, намного больше обычных ~30.

Ловушка сработала сама. Финал проходил очно, и распределения баллов между домашним промежуточным и очным финальным разошлись так резко, что он целиком отбросил оценки за промежуточный. По его словам, у него есть неоспоримые доказательства: минимум 50 студентов списали на мартовском промежуточном экзамене, и он называет это крупнейшим известным скандалом в Брауне и по всей Лиге плюща. Горькую иронию он формулирует сам: «Мы, экономисты, понимаем реальность как множество людей, решающих задачи оптимизации с ограничениями». И предупреждает, что на кону «будущее высшего образования». Когда он попытался вынести вопрос наверх, собственная кафедра не дала никакого ответа.

«Эксперт по теории игр не видит здесь проблемы»

На Hacker News сочувствия было немного. Чаще всего повторяли, что профессор сам сконструировал свою катастрофу, и громче всех об этом твердили те, кто лучше всех мог это понять:

«Его исследования — теория игр. Он должен был сообразить: в ситуации, где все конкуренты (возможно) используют LLM, теоретико-игровой оптимальный выбор — тоже использовать LLM». — комментатор об иронии с теорией игр

«„На дом, с закрытыми книгами“ — какой оксюморон». — userbinator, карма 90k

Другой голос развернул вину обратно на систему, в которой живут студенты, доказывая, что кодекс чести — роскошь, умершая вместе с дешёвым обучением:

«В ваше время образование не продавали как финансовую сделку ради благополучной жизни. Система доверия… требует идиллических условий: людей, которые учатся из чистого любопытства… Дело не в „нынешней молодёжи“, это естественный результат систем, которые построили взрослые». — комментатор в ответ на апелляцию к кодексу чести

Преподаватель из Дартмута перепроектирует курс как боевые действия

Самый конкретный разворот пришёл изнутри той же схватки. Преподаватель CS из Дартмута описал, как с нуля перестраивает вводный курс по системам — не чтобы запретить ИИ, а чтобы оптимизация оценки и учёба стали одним и тем же путём:

«Мы рассматриваем это как состязательную задачу… проектируем курс так, чтобы студент, оптимизирующий лучшую оценку на единицу труда, всё равно достигал наших учебных целей». — преподаватель CS из Дартмута

Это значит бумажные экзамены плюс собеседования один на один, где студент должен объяснить использованный макрос или почему его код устроен именно так. Формулировка была хлёсткой: «Лучше не винить студентов. Они хорошо оптимизируют метрики — именно так они сюда и попали». Отставной профессор-естественник, ставший школьным учителем AP-класса, подтвердил масштаб из окопов, назвав проблему списывания «кризисом серьёзнее COVID»: в продвинутых классах списывает большинство, а многие учителя просто опустили руки.

Тред вытащил то, чего не было в статье: очный финал был не просто методом обнаружения — это была единственная проверка в курсе, пережившая контакт с реальностью. Ошибка профессора была не в доверии к студентам, а в том, что он построил измерение, которое умнее всего было испортить, а потом удивился, что экономически рациональные люди его испортили. Решение, к которому сошлись все практикующие преподаватели в треде, стоит того единственного, что университеты давно сделали недоступным: живого человека в аудитории, по одному студенту за раз.