Gemma 4

Гайд связывает офлайн кодинг-агента на M1 Max с 64 ГБ: llama.cpp, собранный с Metal, Gemma 4 в Q4 и черновая модель Multi-Token Prediction, поднимающая генерацию с 58 до 72 токенов/с.

Самая острая критика треда не про настройку, а про метрику: каждый пост о локальном ИИ меряет токены в секунду, но никто не меряет качество ответов. «Быстро подать мне шлак — не значит сделать его полезнее».

Это MoE-модель на 26 млрд параметров, активирующая 3,8 млрд и влезающая в 18 ГБ VRAM после квантизации. Google признаёт: качество вывода уступает стандартной Gemma 4.

Разработчик, гонявший диффузионную модель в проде, говорит: суть не в «умная», а в «тупо быстрая» — промптинг снова становится парным программированием, а не игровым автоматом.