Дешёвая модель DeepSeek обошла Opus 5 в четырёх агентных тестах, но тесты HN с этим не согласны

Что DeepSeek заявляет про обновление 1017

DeepSeek-V4.1-Flash-1017 — небольшое обновление линейки Flash: 763 млрд параметров, веса FP8/BF16, контекстное окно на 1 млн токенов, вход из текста и изображений, лицензия MIT. DeepSeek говорит, что модель сокращает время выполнения задач и длину ответа, что сдвигает границу «цена — производительность» в агентных сценариях. На странице нет цен.

Таблица бенчмарков и есть главный аргумент. Каждый показатель вырос по сравнению с прошлым Flash, а против Opus 5 картина расколота:

Все цифры — от самой DeepSeek. Flash-1017 выигрывает первые четыре строки и проигрывает последние три.

Одно параллельное ревью: 20 минут против 4,5

Громче всего таблице возразило сравнение на запутанной кодовой базе. Разработчик, который прогнал четырёх агентов по одному и тому же 200-файловому изменению в C++-движке игры, сообщил: на DeepSeek ушло 20 минут, чтобы найти одну важную проблему и одну нерелевантную. Запуск GLM 5.3 Flash на двух DGX Spark занял 1 ч 5 мин и нашёл только замечание по документации. GPT 5.6 Sol нашла две релевантные проблемы за 5,5 минуты, GPT 6.1 Sol — три за 4,5. Ни одна находка не совпала.

Планы исправлений тоже различались. Задача: 191 элемент переполняет буфер на 128. GPT 6.1 Sol предложила буфер на 256 с запасом, а DeepSeek взяла ровно 191, столько, сколько нужно тесту. При этом тот же разработчик назвал скорость декодирования у DeepSeek впечатляющей.

Жалоба на переобдумывание

Более ранние сборки Flash получили жёсткую оценку от команды, которая тестирует их на хорошо определённых задачах средней сложности по коду:

«DeepSeek 4.1 flash ломается на низких уровнях размышления и тратит огромное количество токенов (на порядок больше) на самых высоких уровнях, где ему наконец удаётся решить задачи.» — бывший тимлид gRPC, который сейчас строит автономную разработку приложений

Он собирался перепроверить Flash-1017 именно из-за заявления о более коротком выводе, но, по его словам, «без особых надежд».

Бизнес-модель, на которую это ставка

Другие увидели в релизе историю про ценообразование.

«Прибыль в вычислениях, а не в модели.» — комментатор, который считает, что у крупных лабораторий нет рва

Его аргумент: компании уже маршрутизируют запросы между моделями через один API, так что смена вендора — однострочная правка. Хватит ли Flash-1017, чтобы вызвать такую смену, зависит от разрыва во времени ревью, описанного выше, а не от таблицы.