Модель Gemma 4 12B теперь умещается в 6,7 ГБ памяти почти без потери качества
Google встраивает 4-битное сжатие в Gemma 4 на этапе обучения, а не добавляет его потом. Итог: 12B-модель на 8-гигабайтной GPU ноутбука и 3,2 ГБ E2B, работающий с аудио, изображениями и текстом на Mac. Simon Willison запустил — тред поспорил, чья квантизация лучше.
Сжатие вшито при обучении, а не прикручено после
Google выпустил квантизационно-осведомлённые (QAT) сборки Gemma 4, ориентированные на запуск мощных моделей на телефонах и ноутбуках. Публикация набрала 310 голосов и 92 комментария, и тред превратился в практическую сессию бенчмаркинга — в том числе с обнаружением того, что собственный инструментарий Google занижает возможности своих моделей.
Что меняет QAT
Обычная постобучающая квантизация (PTQ) сжимает готовую модель до 4 бит и мирится с потерей точности. Квантизационно-осведомлённое обучение имитирует это сжатие во время обучения — веса учатся переносить его, и Google утверждает, что QAT «даёт более высокое общее качество по сравнению со стандартными PTQ-базовыми линиями». Выпущено два формата: популярный Q4_0 GGUF для десктопных рантаймов (llama.cpp, Ollama, LM Studio, MLX) и мобильная схема с поканальной квантизацией, целевыми 2-битными слоями генерации токенов и оптимизацией KV-кэша для LiteRT-LM на устройстве.
Размеры, по конкретным цифрам из поста и треда:
| Вариант | Формат | Объём памяти |
|---|---|---|
| Gemma 4 E2B (только текст, мобильный) | mobile schema | < 1 ГБ |
| Gemma 4 E2B-it | litert-lm | ~3,2 ГБ |
| Gemma 4 12B | Q4_0 GGUF | ~6,7 ГБ |
Главный итог: 12B-модель, комфортно укладывающаяся в заявленные Google 16 ГБ, и, по отзывам участников треда, быстро работающая на 8-гигабайтной GPU ноутбука.
Simon Willison запустил 3,2 ГБ модель — с аудио и картинками
Самый полезный вклад в тред — рабочая команда. Simon Willison скачал E2B на Mac и скормил ей не только текст, но и картинки с аудиофайлами:
«Она умеет обрабатывать аудио и изображения — это здорово для 3,2 ГБ-модели… (Пеликан вышел отвратительно, но для файла размером 3,2 ГБ сам факт вывода валидного SVG меня впечатляет)» — Simon Willison, создатель Datasette
Google Edge Gallery врёт о том, что влезет
Самое острое наблюдение принадлежит дата-сайентисту, заметившему расхождение с приложением самой Google.
«В недавно выпущенном Edge Gallery для macOS Gemma 4 12B явно помечена как неподдерживаемая из-за недостатка RAM даже на 16 ГБ-машине, хотя по ожидаемому объёму памяти Q4_0-вариант определённо должен влезть — Google стоит это исправить.» — Max Woolf, старший дата-сайентист в BuzzFeed
И блог обещал GGUF, которых, по словам одного участника, напрямую пинавшего Google, на момент запуска попросту не было.
Неожиданный поворот: сообщество делает квантизацию лучше официальной
Самый показательный разворот: официальный QAT Google, возможно, уступает сторонним квантизациям его же модели. Сборки от Unsloth, по отзывам, точнее воспроизводят несжатую базовую линию.
«Похоже, они достигают точности, очень близкой к 100% от BF16-модели без квантизации, и квантизации Unsloth превосходят оригинальный Google QAT, о котором говорится в статье.» — разработчик, запускающий 2B-модель для структурированного JSON на устройстве
Не все согласны с самой предпосылкой. «Не понимаю этой одержимости маленькими моделями», — возразил один скептик, не видящий смысла тратить локальный CPU и RAM, когда фронтирный API доступен по одному запросу; другой счёл E2B и E4B «слишком тупыми для чего-либо за пределами нишевых сценариев», особенно без на-устройстве агента с доступом к вебу.
Что реально изменилось
Главная новость не «Google выпустил квантизации». Главное — QAT закрыл разрыв от сжатия настолько, что 12B-мультимодальная модель стала артефактом для 8-гигабайтного ноутбука, а 3,2 ГБ-файл транскрибирует аудио и описывает картинки на Mac. Неприятная сноска: лучшая квантизация Gemma 4 в треде была не от Google, — а собственное приложение Google для устройств до сих пор говорит пользователям с 16 ГБ, что модель не поместится, хотя та очевидно влезает.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
Собственный дашборд Cloudflare показывает: веб всё ещё на две трети человеческий
Мэтью Принс написал в твиттере, что боты «впервые в истории интернета» обогнали людей по трафику. Исследователь в области безопасности открыл публичные данные Cloudflare — и нашёл там противоположную картину.