49 математиков написали 100 задач исследовательского уровня, чтобы поставить ИИ в тупик. Выжили лишь 2 — но читайте мелкий шрифт

Эксперимент

Статья Benchmarks in Leipzig (arXiv 2606.05818) описывает, как 49 математиков составили 100 вопросов исследовательского уровня с известными ответами (1 апреля — 15 мая 2026 года, во многом во время трёхдневного воркшопа в Институте Макса Планка в Лейпциге), а затем тестировали LLM в три этапа. Число нерешённых задач упало с 41 (Этап 1, одна попытка пятью передовыми моделями) до 16 (Этап 2) и всего до 2 (Этап 3, две модели с тяжёлым рассуждением). Авторы — включая Бернда Штурмфельса — заключают, что математическое рассуждение LLM «становится впечатляющим» и что бенчмарки из упражнений на основе публичных исследований «достигли [своих] пределов».

Ведущий автор задаёт планку сложности — и реальное утверждение

Удобно, что ведущий автор статьи оказался в треде:

«задачи намного сложнее любого экзаменационного вопроса на любом экзамене … аспиранту, изучающему ровно эту область математики, понадобились бы дни-недели, чтобы понять и решить вопрос … это вопросы о существующих исследованиях». — ведущий автор статьи

Но другой читатель чётко зафиксировал, что результат на самом деле измеряет — и чего не измеряет:

«речь конкретно о задачах с известными ответами, которые можно вывести из существующей литературы (например, обучающих данных) … Это ближе к „может ли математик (вслепую) написать упражнения, которые нельзя списать с помощью LLM“». — комментатор, переформулировавший это как потолок сложности бенчмарков

Разрыв в надёжности, который хоронит заголовок

Цифра «2 нерешённых» означает «не решено ни одной моделью ни в одной конфигурации на всех этапах и попытках». Точность на отдельный прогон — другая планета:

«GPT 5.5: ответ дан на 1389/2000 вопросов, из них 1043 верных (75%) — Opus: ответ дан на 1306/2000 вопросов, из них 294 верных (22%) … хотя можно заявить, что Opus решил 40% задач, у него всё равно был процент провала 78%». — читатель, копающийся в Таблице 3

«Я понимаю заявление „2 нерешённых“ как „не решено ни одной моделью ни в одной конфигурации ни на одном этапе при любом числе попыток“, а „результаты бенчмарка“ намного ниже». — комментатор, примиряющий заголовок с цифрами по прогонам

Так что же доказали 49 математиков?

Не то, что ИИ занимается исследовательской математикой. Они доказали, что написать математический бенчмарк, который не возьмёшь, натравив на него передовую модель, стало по-настоящему трудно — и что модель, «решающая» 40% задач хотя бы раз, всё равно может ошибаться в 78% случаев. Обе вещи верны одновременно. Заголовок оставляет первую половину и роняет вторую — ровно тот ход, который тред не дал спустить.