Дешёвая модель DeepSeek обошла Opus 5 в четырёх агентных тестах, но тесты HN с этим не согласны (huggingface.co)
DeepSeek-V4.1-Flash-1017 набирает 77,0 в DeepSWE v1.1 против 74,0 у Opus 5. Контекст — 1 млн токенов, веса под MIT. В Terminal-Bench 4.0 (42,3 против 51,8) и ProgramBench (29,1 против 37,0) она всё ещё проигрывает Opus 5.
Потом кто-то запустил четырёх агентов на одном и том же дифе C++ из 200 файлов. На DeepSeek ушло 20 минут, чтобы найти один релевантный баг, а GPT 6.1 Sol за 4,5 минуты нашла два.
Войдите, чтобы сохранить