VibeThinker: 3B-модель якобы обходит Opus 4.5 в рассуждениях. Тест на баги: ноль находок
Крошечная модель, обученная не «знать», а «рассуждать». Кто-то успешно заменил ей GPT-5 nano в ревью безопасности кода. Другой прогнал на корпусе реальных багов — она не нашла ни одного.
Вышла VibeThinker — модель всего на 3 млрд параметров, которая, по заявлению авторов, обходит Opus 4.5 в задачах на рассуждение благодаря новой связке обучения.
Реакции в треде полярные: один инженер успешно использует её вместо GPT-5 nano для ревью безопасности кода на RTX 3090; другой прогнал её на корпусе реальных багов — найдено ноль.
Важная оговорка: заявленные результаты — только для Python; на других языках модель работает заметно хуже.
Контекст
Статья на arXiv про VibeThinker представляет модель всего на 3 млрд параметров, которая, по заявлению авторов, обходит Opus 4.5 в рассуждениях благодаря новой связке SFT+GRPO. Пост собрал 160 очков, и тред — редкий случай, когда практики тут же побежали проверять заявку на своём железе.
Что произошло
Реакции получились полярными — и обе подкреплены реальным тестом, а не впечатлением.
Что говорит тред
Успех — конкретный и полезный:
«Есть некоторый успех при тестировании этой модели как замены GPT-5 nano в ревью безопасности исходного кода. Гоняю на RTX 3090 (24 ГБ VRAM) через vLLM. Со структурированным выводом не очень (это отмечено и в карточке модели), но обхожу это в своём harness» — noperator
И тут же — провал, тоже измеренный:
«Она ужасна в поиске багов безопасности (я и ожидал, но хотел убедиться). Добавил её в свой бенчмарк с корпусом багов, найденных Mythos, — она нашла ноль. Самые маленькие из реально успешных моделей остаются Qwen 3.6 и Gemma 4» — SwellJoe
Важнейшая оговорка про область применимости:
«Учтите, что это результаты только для Python — на других языках модель будет работать не так хорошо. Рад видеть больше узкоспециализированных маленьких моделей, нам нужно больше таких» — gslepak
А самое интересное — концептуальная мысль о том, что вообще делает эту модель:
«Если я правильно понимаю, это крошечная модель, обученная хорошо рассуждать — и всё. Напоминает умного человека, который ничего не знает по теме, но с правильными инструментами пойдёт и досконально её изучит. Зачем учить модели знать что-либо, если можно научить их учиться?» — secretslol
Прозвучал и взгляд в будущее железа: такую крошечную модель можно уместить на одном чипе Taalas (HC1 уже гоняет Llama 3.1 8B) — то есть приличное рассуждение на ASIC с умопомрачительной скоростью.
Что это значит
VibeThinker — отличная иллюстрация того, что значит «бенчмарк против реальности». Заявка «3B обходит Opus 4.5» верна ровно в своей нише — Python-рассуждения — и рассыпается за её пределами: на поиске багов безопасности модель показала ноль, на других языках просядет. Но даже скептики признают тут реальный сдвиг: одна и та же модель кому-то заменила GPT-5 nano в продакшен-ревью. И за частностями — большая идея, которую тред проговорил прямо: возможно, будущее маленьких моделей не в том, чтобы знать всё, а в том, чтобы уметь рассуждать и пользоваться инструментами — а это уже помещается на один чип.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Отцовство перестраивает мозг. Тред превратился в исповедь: «моё прежнее „я“ будто умерло»
Под научной статьёй мужчины рассказали то, о чём обычно молчат: новый незнакомый страх, отцовская послеродовая депрессия в виде вспышек гнева, и лицо ребёнка, которое видишь, закрывая глаза.