DeepSeek V4 Pro обходит GPT-5.5 Pro со счётом 38:33 в тесте из 4 задач с судьёй Grok

Бенчмарк-статья, которую HN разобрал при первом касании

Статья RuntimeWire попала на HN с 164 очками и 48 комментариями — соотношение очков и комментариев, часто сигналящее о сообществе, расколотом между апвоутом темы и спором об источнике. В треде источник препарировали почти мгновенно.

Что утверждает статья

Материал RuntimeWire столкнул DeepSeek V4 Pro с GPT-5.5 Pro на четырёх «свежих текстовых задачах», сгенерированных на лету. Судьёй был grok-4-1-fast-non-reasoning. Итоговый счёт:

Вывод статьи: DeepSeek побеждает, «будучи точнее там, где это важно: следование инструкциям, соответствие схемам и чистое решение крайних случаев». Каждый тест прогнали один раз. Без доверительных интервалов. Без определения шкалы оценки помимо собственного вывода модели-судьи. Язык статьи — «эта схватка ощущается заслуженной» — несколько читателей отметили как признак ИИ-письма.

Тред проводит бенчмарк получше

Самый методологически тщательный ответ пришёл от основателя YC W07, который реально прогнал DeepSeek V4 Pro и GPT-5.5 Pro на собственном бенчмарке по поиску уязвимостей:

«GPT 5.5 Pro нашёл два из четырёх кейсов, до которых добрался, прежде чем спустил бюджет. Может, с бесконечным бюджетом он был бы лучшим из всех, но Opus 4.8, DeepSeek V4 Pro и MiMo 2.5 Pro нашли четыре бага из девяти. Opus был на порядок дешевле GPT 5.5 Pro, DeepSeek и MiMo — на два порядка дешевле, примерно по гривеннику за кейс… Не могу придумать сценарий, где я бы рационально тратил ~31-кратную цену Opus, чтобы пользоваться GPT 5.5 Pro». — SwellJoe, YC W07, создатель Virtualmin

Стоимость кейса GPT-5.5 Pro в том бенчмарке: $22. DeepSeek: около $0,10.

Самая острая методологическая критика пришла от разработчика, назвавшего конкретные провалы:

«Сгенерированная ИИ статья о тесте из одного прогона ИИ, который теоретически имел много компонентов, и ИИ-судья объявил, что deepseek „победил“? Сколько было прогонов на каждом тесте, чтобы учесть разброс по температуре? Всего один. Написал ли deepseek код лучше? Были ли баги в коде GPT при работе с regex? ИИшная „новостная“ статья этого фактически не говорит. Она говорит, что grok счёл, что подход GPT мог бы содержать баги, и потому объявил победителем DeepSeek». — разработчик, активный с 2017 года

Комментатор, раздевший статью до фактических данных, выразился лаконичнее всех:

«…по мнению grok-4-1-fast-non-reasoning, который был судьёй, на 4 задачах в сумме, счёт был 38:33, так что, очевидно, можно делать грандиозные выводы». — комментатор, активный с 2025 года

Один ML-инженер, чей опыт совпал с выводом статьи, отметил интересный конкретный режим отказа GPT-5.5 Pro в структурированном выводе:

«gpt всё время добавляет поля и меняет типы в структурированном выводе, когда нужно, чтобы он просто следовал спецификации». — ML-инженер, сфокусированный на on-device инференсе на Apple Silicon

Ценовой разрыв — это неподдельное число

Счёт 38:33 невоспроизводим и, вероятно, бессмыслен. Разница в цене — нет. Модель, которая стоит в 200 раз дороже, должна быть соответственно лучше на реальной задаче — а на реальном бенчмарке безопасности SwellJoe GPT-5.5 Pro не закончил набор тестов до того, как кончился бюджет. Для разработчиков, гоняющих оцениваемые моделью пайплайны в масштабе, где ни один человек не просматривает промежуточные выводы, платить гривенник за кейс против $22 за кейс — это структурное ограничение, а не предпочтение. Эта асимметрия сохранится независимо от того, что любая статья из четырёх задач с судьёй-LLM заявит о «точности».