DiffusionGemma от Google пишет абзац разом: вчетверо быстрее и чуть глупее

Печатный станок вместо пишущей машинки

Анонс Google описывает по-настоящему другой способ генерации. Там, где авторегрессионная модель выдаёт по одному токену за раз, DiffusionGemma «набрасывает целый абзац из 256 токенов одновременно», а затем «делает несколько проходов, фиксируя верные токены и используя их как контекстные подсказки для уточнения остального». Это модель под лицензией Apache-2.0, MoE на 26 млрд параметров, которая при инференсе активирует лишь 3,8 млрд и «комфортно влезает в 18 ГБ VRAM … после квантизации».

Цифры скорости и честная оговорка:

Google прямо заявляет, что «общее качество вывода DiffusionGemma ниже, чем у стандартной Gemma 4», и рекомендует обычную Gemma 4, когда качество критично. Самым ярким было демо дообученной версии, решающей судоку, — задача, «где каждый токен зависит от будущих токенов», ровно тот случай, когда фиксация слева направо мешает, а двунаправленное уточнение помогает.

Голос, переформулировавший суть: «тупо быстрая» бьёт «умную»

Самый ценный комментарий пришёл от того, кто уже пожил с диффузионной моделью в цикле кодинга, и описал качественный сдвиг, а не бенчмарк:

«Моей неожиданно любимой моделью оказалась Mercury (диффузионная). Не потому что „умная“, а потому что тупо быстрая. Это был скорее опыт парного программирования, а не SOTA-агентский опыт „запромптил и жди“. … Меньше похоже на игровой автомат, где промптишь, ждёшь и надеешься». — vineyardmike

Где диффузия реально выигрывает: edge, а не дата-центр

Основатель и CTO поправил самое частое заблуждение — будто диффузия просто быстрее в целом. Он точно указал на настоящее преимущество:

«Декодер LLM считает токены по одному, потому что внимание должно учитывать каждый предыдущий токен. Существующие декодеры LLM хорошо масштабируются, когда … собираешь много инференсов в один батч. Тут от диффузии пользы немного. На edge у вас другая проблема: ваш ускоритель инференса простаивает, гоняя гигабайты весов туда-сюда из RAM. … Диффузия может считать токены параллельно, что снимает узкое место пропускной способности памяти». — основатель и CTO Vulnetic

Скептики: старый слух и придирка к метрикам

Старший дата-сайентист, следивший за диффузионными демо Google, отметил незакрытый вопрос: технику показали год назад, и она затихла, якобы потому что была слишком дорогой в эксплуатации, «так что теперь этого быть не должно» с учётом нового сравнения на H100; открытый вопрос — «в чём тут обратная сторона такой скорости, помимо того что она чуть слабее». Другой читатель указал на бенчмарк-ловкость рук: подмену пропускной способности задержкой, ведь ответ в одно слово всё равно оплачивает «целые 256 токенов разом». Саймон Уиллисон, верный себе, заставил её нарисовать пеликана через бесплатный эндпоинт NVIDIA. Консенсус треда: это не модель фронтирного качества, но правдоподобная ставка на то, что для локального и edge-инференса параллельная генерация токенов — рычаг, который и решает.