Бенчмарк Cursor: дешёвая модель на уровне фронтира. Чужой бенчмарк даёт ей 16
CursorBench 3.1 показывает, что собственная Composer 2.5 подбирается к топовым кодовым моделям за десятую часть цены. Тред вытащил независимый бенчмарк, где та же модель набирает 16 против 64 у GPT-5.5.
По цифрам Cursor, Composer 2.5 даёт 63,2% точности за $0,55 на задачу — дешевле всех в поле и подаётся как почти-фронтир. В презентации даже перевернули ось цены, чтобы самое дешёвое оказалось справа, что многим показалось удобной путаницей.
Возражение пришло со ссылками. На бенчмарке DeepSWE — «который труднее всего накрутить» — GPT-5.5 берёт 64, Opus 4.8 — 56, а Composer 2.5 — 16. Разработчик, много работавший с обеими моделями, назвал заявку о паритете «полным фарсом»: быстрее — да, но рядом по качеству — нет.
Что заявляет бенчмарк Cursor
CursorBench 3.1 — собственная оценка Cursor для ИИ-агентов кодинга на «неоднозначных многофайловых задачах из реальных сессий Cursor»: понимание кодовой базы, поиск багов, планирование, ревью. Он охватывает 36 конфигураций моделей и отслеживает три оси: точность, цену за задачу и токены/шаги. Главный посыл, ради которого выстроена презентация: собственная Composer 2.5 даёт почти-фронтир точность за долю цены:
| Модель | Точность | Цена / задача |
|---|---|---|
| Fable 5 Max | 72.9% | $18.02 |
| Composer 2.5 | 63.2% | $0.55 |
| Composer 2 | 52.2% | $0.56 |
Composer 2.5 самая дешёвая в поле, примерно в десять раз дешевле премиум-моделей. Один приём подачи навлёк критику сам по себе: ось цены перевёрнута так, что самая дешёвая модель стоит справа, и многих читателей это без нужды дезориентировало.
Тред принёс собственный бенчмарк
Самый разгромный ответ спорил не на ощущениях, а на сторонних цифрах:
«Бенчмарк Cursor находит, что модель Cursor (Composer 2.5) практически так же хороша, как Opus 4.8 max и GPT-5.5 xhigh… Смотришь на бенчмарк DeepSWE (который сейчас, наверное, труднее всего накрутить), и GPT-5.5 xhigh берёт 64, Opus 4.8 max набирает 56, а Cursor 2.5 всего 16.» — читатель со ссылкой на оценки Artificial Analysis и DeepSWE
| DeepSWE | Балл |
|---|---|
| GPT-5.5 xhigh | 64 |
| Opus 4.8 max | 56 |
| Composer 2.5 | 16 |
Тот, кто пользуется обеими моделями каждый день, высказался резче:
«Я плотно работал и с Composer 2.5, и с GPT 5.5… и их заявка, будто Composer 2.5 хоть близко к GPT 5.5 по качеству, это полный фарс. Она быстрее, но и рядом не так хороша.» — разработчик, гоняющий обе в Cursor и Codex
Пользователь с полугодовым стажем на Composer описал тот же рисунок изнутри: быстро, но «очень поверхностно» на трудных задачах, будто она «просто ищет самый дешёвый способ выдать результат». Самое ёмкое резюме уложилось в пару слов: «Модель Cursor блистает на бенчмарке Cursor; новости в 11 вечера». Всё это не делает Composer 2.5 бесполезной: дёшево-и-быстро — реальный продукт. Но бенчмарк превращается в маркетинговый актив, и полезное чтение обратно питчу: когда модель вендора возглавляет его же оценку, нужная цифра — та, что измерил кто-то, кому нечего продавать.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Podman 6.0 переписал сеть. А тред спорил, заменит ли он Compose
Крупный релиз Podman меняет сетевые внутренности на Netavark, Pasta и nftables и добавляет экспериментальный rootless-проброс портов, сохраняющий настоящий source IP. Команды, которые уже перешли, пришли рассказать, что заставило их уйти от Docker.