90% рабочих часов в США лежат вне того, что измеряют AI-бенчмарки, выяснил Mercor

Подсчёт того, что покрывают бенчмарки

Анализ Mercor берёт таксономию ONET Министерства труда США (923 профессии, 22 семейства, 18 797 задач) и спрашивает, у каких задач есть бенчмарк. Отбираются 29 публичных агентных бенчмарков, которые ещё не насыщены; LLM-судья сопоставляет каждый промпт бенчмарка с задачами ONET, и задача считается покрытой, если к ней относятся не меньше пяти промптов. Взвешивание по оценкам доли рабочего времени из работы Hatgis-Kessell и соавторов даёт главный вывод: «90% американского рабочего времени уходит на задачи, которые существующие бенчмарки покрывают слабо или не покрывают вовсе».

Сырые цифры: 208 из 923 профессий имеют хотя бы одну покрытую задачу, шесть из 22 семейств не имеют ни одной, а покрыты 924 из 18 797 задач. Задачи, подверженные влиянию AI, покрываются примерно в шесть раз чаще неподверженных, а самые важные задачи внутри профессии — в шесть-десять раз чаще наименее важных. Даже с учётом подверженности AI профессии с большим фондом оплаты труда представлены сверх меры. Задачи юристов покрыты хорошо, а задачи секретарей и судебных клерков — почти нет.

В пилоте на четырёх профессиях с собственными бенчмарками Mercor APEX взвешивание по задачам почти не сдвинуло оценки: для финансовых аналитиков простое среднее 73,3% превратилось во взвешенные 70,2%. Меньше трети релевантных задач имели достаточное покрытие APEX, чтобы попасть в выборку. Авторы сами называют список из 29 бенчмарков неполным и субъективным.

Тред: предвзятость или просто физика?

Верхний комментарий прочитал вывод о фонде оплаты как умысел и заключил, что лаборатории «хотят, чтобы AI забрал хорошие работы». Ответ это осадил:

«Нет, мы сейчас не можем делать большинство задач, требующих физических манипуляций, и не важно, чего кто-то хочет» — ответ на прочтение про «хорошие работы»

Другой комментатор объяснил причину не амбициями, а обучающими данными:

«AI приходит за работами, связанными с программированием и математикой (они обычно лучше оплачиваются), потому что для этих областей можно бесконечно генерировать обучающие данные, проверяя корректность компилятором или доказательствами теорем» — комментатор о том, почему код и математику бенчмаркают первыми

Дальше идёт ручной труд. Один комментатор, который сменил работу дата-сайентиста на электрика, написал, что день начинается неуютно, «но в конце рабочего дня я чувствую себя гораздо лучше, чем после офисной работы». Другие были менее спокойны: ответ с перечнем компании YC, которая собирает клубнику, утверждал, что с железом просто дольше, чем с софтом.

Что означает разрыв в покрытии

Задача без бенчмарка не безопасна, она просто не измерена. Для тех, кто решает, на что переучиваться, полезнее другой вывод из отчёта: нынешние оценки мало что говорят о большинстве профессий в ту или другую сторону. Собственный список открытых проблем авторов, включая низкую статистическую мощность и физические задачи, — это то, куда должны двигаться следующие бенчмарки.