Читатели обманули тест на знание 170 000 слов, выбирая самый длинный вариант

Тест, который можно пройти, не читая слов

Веб-приложение задаёт 100 вопросов с выбором из четырёх определений и оценивает, сколько из ~170 000 английских слов вы знаете. Занятная игрушка: читатели хвастались результатами в 71k, 74k, 75k — пока кто-то не заметил закономерность.

Правильное определение почти всегда длиннее трёх остальных вариантов. Читатель с высоким кармой не просто высказал гипотезу — он её автоматизировал:

«Ты прав. Я проверил эту гипотезу примерно дюжину раз, и похоже, что если всегда выбирать самый длинный вариант, получаешь результат где-то в диапазоне от высоких 70k до середины 80k.» — latexr

Его комментарий содержал шестистрочный цикл для консоли браузера, нажимающий на самый длинный вариант в каждом из 100 вопросов. Другой читатель воспроизвёл стратегию вручную и подтвердил:

«Хахаха, я набрал 62k очков, просто выбирая самые длинные определения. Отличное наблюдение!» — читатель, воспроизведший эксплойт вручную

Почему самый длинный ответ оказывается правильным

Объяснение дал человек, выпустивший точно такое же приложение и столкнувшийся с той же проблемой:

«Всё это, скорее всего, сгенерировано ИИ. ИИ часто стремится дать исчерпывающий ответ для правильного варианта, делая его длиннее остальных — и тем самым разрушая саму идею теста.» — разработчик, создавший похожее словарное приложение

Генерируемые машиной варианты-отвлекатели выдают себя и другими способами. Один читатель нашёл определения, которые ссылаются на само слово: «Lethargic: exhibiting lethargy» («Вялый: проявляющий вялость»). Другие можно было сразу отсеять, разложив редкое слово на знакомые корни: если оно так легко разбирается, оно не могло обозначать нечто совсем иное.

Настоящая проблема: придумывать неправильные ответы сложно

Даже читатель с результатом 74k не доверял цифре и объяснял, почему она завышена:

«Варианты-отвлекатели были недостаточно убедительными. Если слово [можно разложить на знакомые английские корни], оно бы не было редким.» — читатель, сравнивший тест с заведомо сложным польским медицинским экзаменом

Он сравнил тест с польским экзаменом LEK для выпускников медицинских вузов, где варианты-отвлекатели написаны настолько хорошо, что угадать почти невозможно. В этом и есть настоящий урок, спрятанный за развлекательной словарной игрой: точность оценки словарного запаса определяется качеством неправильных ответов. LLM, которому поручают написать четыре варианта, молча сделает правильный самым полным, а значит, и самым длинным. Итоговая цифра отчасти измеряет умение замечать многословный ответ.