Лучший ИИ-агент проходит 10,8% из 50 профессиональных налоговых задач, а Sonnet обгоняет Opus

1 789 файлов, восемь направлений и планка в 95%

DAYJOB: Tax от Surge AI проверяет агентов на 50 окружениях: физические лица, бизнес, партнёрства, международные и другие задачи. В них 1 789 файлов рабочего пространства, а медиана — 30 на задание. Попытка засчитывается, только если выполнено не меньше 95% критериев задачи.

Ошибки связаны с суждением, а не с арифметикой. Один агент разобрал обе даты закрытия при продаже квартиры, но пропустил, что право на льготу может истечь около августа 2027 года. Другой во всех пяти попытках считал разводящуюся пару неженатой, хотя документы указывали на возможный более ранний брак.

Тред: пользователи говорят то же, а один строит свод правил

Гражданин США, живущий за границей и много лет прогоняющий собственные декларации через Claude, перечислил, что работает и что нет:

«…недостаточно свалить все бумаги в одну кучу и ждать красивой декларации, которую не нужно проверять.» — гражданин США за границей, который годами загружает в Claude черновики своих деклараций

Другой комментатор описывает сами формы:

«Я дошёл примерно до 60% покрытия федеральных налоговых ситуаций США.» — комментатор, который строит открытую модель форм и расчётных листов IRS

Вывод

Бенчмарк и отчёт пользователя сходятся: модели — хорошие вторые читатели и плохие единоличные составители деклараций. Если агент составляет вашу декларацию, он с наибольшей вероятностью пропустит ту дату или факт, о которых вы не упомянули.