ИИ-репетитор показал прирост в 1,3 SD в Дартмуте — а тред нашёл 16 студентов, на которых он держится
Заголовочная цифра огромна: до 1,30 стандартного отклонения прироста на экзамене, при этом 90% студентов взялись за инструмент, которым их никто не заставлял пользоваться. Читатели, открывшие таблицы, обнаружили: цифра держится примерно на шестнадцати людях.
На курсе статистики в Дартмуте запустили учебную платформу, где Claude оценивает развёрнутые ответы по преподавательским рубрикам. Заявленный эффект: 0,71–1,30 SD на промежуточном экзамене при полной вовлечённости, 90,2% добровольного охвата против базовых ~10% тех, кто читает учебник.
Потом комментаторы посчитали: «90% охвата» значит «воспользовались хотя бы раз», до уровня вовлечённости, давшего большую цифру, дошли лишь ~16 студентов (11%), а «репетитор» на самом деле автопроверка тренировочных тестов.
Что на самом деле измерила статья
Статья из Дартмута о внедрении сообщает: платформа с ИИ под названием Phosphor, встроенная во вводный курс статистики, дала прыжок в 0,71–1,30 SD на экзамене у студентов с полной вовлечённостью. При этом 90,2% группы добровольно пользовались неоцениваемым инструментом против оценённых преподавателем ~10–15%, кто обычно выполняет заданное чтение. Развёрнутые ответы массово оценивает Claude Sonnet по рубрикам под конкретный вопрос. К чести авторов, главный риск они называют сами: исследование нерандомизированное, а самоотбор (мотивированные студенты решают больше тестов) — очевидный сбивающий фактор.
Один из авторов даже появился в треде, чтобы поговорить. Там-то цифру и разобрали — вежливо, силами тех, кто прочитал дальше аннотации.
Три способа сдуть цифру
Во-первых, что это вообще за инструмент. Слово «репетитор» тянет на себе слишком много:
«Заголовок вводит в заблуждение. Это не столько ИИ-репетитор, сколько платформа тренировочных тестов с ИИ-автопроверкой… Вывод по сути такой: кто решает тренировочные тесты, тот лучше сдаёт экзамены» — читатель, проверивший, какие части платформы использовались
Во-вторых, база, на которой стоит заголовок. Кто-то восстановил уровни вовлечённости:
«заголовочный результат в 0,7 сигмы… основан на пройденных уроках и повторениях и на оценке за промежуточный экзамен… примерно ~16 студентов (11% группы) реально дошли до такого уровня вовлечённости… 90% — это про „взаимодействие с платформой… хотя бы раз“» — комментатор, заново собравший уровни из таблиц статьи
В-третьих, практикующий статистик усомнился в самом дизайне теста, причём не чтобы напасть на ИИ, а чтобы спросить, моделирует ли реальность вообще его удаление:
«в реальной жизни у студентов на экзамене будет доступ к ИИ, так что убирать его по иронии менее реалистично… Мне интереснее, как студенты сдают тест с ИИ и без него» — статистик-экономист, один из первых дата-сайентистов в Zapier
Цифра, которая разлетится, и цифра, которая правдива
«1,3 SD» — та цифра, что попадёт в презентацию. Вывод, переживающий проверку, скромнее и старше любого ИИ: студенты, которые добровольно перемалывают тренировочные вопросы, обходят тех, кто этого не делает, а автопроверка с мгновенной обратной связью снижает цену такого перемалывания. Польза есть. Но если ссылаться на это как на доказательство, что ИИ-репетитор утраивает обучение, вы цитируете шестнадцать самоотобравшихся человек.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Геймдев с 20-летним стажем: чинить надо запретом слова «купить» — а физика теперь лишь 3% выручки Sony
Блог переворачивает спор о дисках: дело было не в пластике против загрузок, а во владении. В комментариях владелец студии признаёт, что игры лицензируют, а не покупают, а кто-то тихо замечает: физические продажи для Sony теперь погрешность округления.