Microsoft выпустила MAI-Code-1-Flash: 5B активных параметров против Claude Haiku

Microsoft представила собственную модель для кода MAI-Code-1-Flash — MoE на 137B параметров, из которых активны лишь ~5B, и сразу выкатила её в GitHub Copilot. По её данным, на SWE-Bench Pro модель даёт 51,2% против 35,2% у Claude Haiku 4.5 и решает задачи на 60% меньшим числом токенов.

Microsoft выкатила собственную модель для кода — и сразу в Copilot

MAI-Code-1-Flash
MAI-Code-1-Flash

Анонс MAI-Code-1-Flash собрал 436 очков и 188 комментариев — это часть более широкого запуска семи MAI-моделей, построенных Microsoft AI самостоятельно. Сигнал внятный: Microsoft, у которой особые отношения с OpenAI, всё активнее строит собственный стек моделей и встраивает его в свой главный канал распространения — GitHub Copilot.

Что именно выпустили: MoE на 137B, активны лишь 5B

MAI-Code-1-Flash — модель для повседневной работы с кодом, которая, по словам Microsoft, «построена end-to-end силами Microsoft на чистых и корректно лицензированных данных» и уже раскатывается пользователям GitHub Copilot в Visual Studio Code. Ключевая инженерная деталь, которую в самом блоге не подсветили, но вытащили в треде: это MoE-модель на 137B параметров, из которых активны лишь около 5B — отсюда и цифра «5B» в обсуждении.

«Это 5B активных параметров в MoE, а не 5B всего (всего — 137B)» — necubi

Заявленные Microsoft бенчмарки (сравнение идёт с Claude Haiku 4.5):

  • SWE-Bench Pro: 51,2% против 35,2% — отрыв в 16 пунктов;
  • SWE-Bench Verified — выше pass rate при экономии до 60% токенов;
  • SWE-Bench Multilingual и Terminal Bench 2 — обходит модель сравнения;
  • IF Bench — отрыв в 28,9 пункта по следованию инструкциям;
  • бенчмарк состязательного рассуждения — 85,8% скорректированной точности.

Позиционирование — не «топ по бенчмаркам», а лучшее соотношение цена/качество: меньше токенов, ниже задержка и стоимость, максимум «ценности на токен». Цену в анонсе не назвали, но позже в треде нашли её в прайсе GitHub Copilot: $0,75 за вход, $0,075 за кэшированный вход и $4,50 за выход (за миллион токенов), по данным документации.

Тред: «а они, часом, не тренируются на тестовом наборе?»

Главная линия скепсиса вспыхнула вокруг слова «hill climbing» из соседнего анонса Microsoft:

«Если они прямо не уточнят, что тестовые и тренировочные бенчмарки полностью разделены, приходится допускать, что они тестируют на том же „холме“, на который и взбираются» — fooker

Кто-то прямо бросил: «значит, обучено на тестовом наборе SWE-Bench Pro». Но возражение нашлось — и со ссылкой на сам paper:

«Это неточно. Загляните в paper, чтобы понять, на чём она обучена. И деконтаминация прямо описана в разделе A.4» — topsycatt

Ещё один участник уточнил, что «hill climbing» само по себе не означает жульничества и сводится скорее к «RL на всём подряд». А самое спокойное объяснение низковатых-но-честных цифр прозвучало так:

«Насколько я понимаю, это потому, что в отличие от других моделей, MAI ещё не дообучали под синтетические датасеты, специально заточенные накручивать баллы бенчмарков» — npn

Тред: ставка на маленькие локальные модели

Вторая большая ветка — о том, зачем вообще Microsoft маленькая быстрая модель. Многие увидели в этом ставку на локальный ИИ:

«Дело в соотношении цена/качество. Такой балл при 5B параметров — это хорошо, ещё недавно это было почти невероятно. Я верю, что маленькие модели будут становиться всё лучше, и даже облачные SOTA-модели усохнут. Ещё одна причина, почему нынешняя стройка будет похожа на железные дороги» — redrove

«Будущее, вероятно, за набором узкоспециализированных маленьких моделей, которые можно гонять на своём железе, а не за гигантскими фронтир-моделями в облаке» — Flere-Imsaho

Это, по наблюдению участников, совпало с тем, что показал Nadella на сегодняшнем кейноуте BUILD — новый Surface с чипом Nvidia и упор на локальный ИИ как главный сценарий. Но прозвучал и контртезис: SOTA-модели не усохнут, потому что задачи будут расти — «от „напиши мне Си-компилятор“ до „клонируй бизнес Stripe и управляй им“» (dist-epoch).

Отдельно: сайт, по которому невозможно скроллить

На фоне споров о бенчмарках тред дружно поиздевался над самим лендингом анонса:

«На всём этом домене перехвачено колёсико прокрутки» — ajyoon

На жалобу «этим сайтом ужасно пользоваться, о чём они думали?» прилетел ответ в духе момента: «ты хотел сказать — о чём думала LLM?».

Что это значит: Microsoft строит свой стек и раздаёт его через Copilot

За цифрами видна стратегия. Microsoft показывает, что умеет делать дешёвые быстрые модели «на чистых данных» и встраивать их прямо в GitHub Copilot — то есть в дефолтный инструмент миллионов разработчиков. Скепсис треда здоровый: реальная ценность всплывёт не из слайда «Ideal Zone», а из цены за токен и скорости в проде. Но направление считывается однозначно: ставка не на один гигантский фронтир-мозг в облаке, а на флот маленьких быстрых моделей под конкретную задачу — и Microsoft хочет, чтобы для кода такой моделью по умолчанию была её собственная.

Получайте такие разборы каждый день

Главные истории Hacker News — на email, в Telegram или RSS.

Следующая новость · 24 из 24 Читать дальше
🔥Hot Discussion

16 лет на Gmail и уход: «впервые софт активно пытается меня унизить»

Автор пользовался Gmail 16 лет и ушёл, когда понял, что почта не предлагает помощь, а навязывает её: автосаммари писем, готовые черновики ответов, бесконечная кнопка «Help me write». Вывод, который он сформулировал: «софт впервые ведёт себя так, будто считает меня неспособным прочитать и написать собственное письмо».

★ 776 · 💬 456 · moddedbear.com · 5 мин