Он выжал 72 токена/с, кодя локально на MacBook. Тред спросил: почему просто не взять Ollama?
Гайд собирает полностью локального кодинг-агента на M1 Max: llama.cpp, Gemma 4, черновая модель для спекулятивного декодирования ради ускорения на 24%. Главный ответ был пожатием плеч: загрузи Ollama, направь на неё агента, пропусти всё это.
Гайд связывает офлайн кодинг-агента на M1 Max с 64 ГБ: llama.cpp, собранный с Metal, Gemma 4 в Q4 и черновая модель Multi-Token Prediction, поднимающая генерацию с 58 до 72 токенов/с.
Самая острая критика треда не про настройку, а про метрику: каждый пост о локальном ИИ меряет токены в секунду, но никто не меряет качество ответов. «Быстро подать мне шлак — не значит сделать его полезнее».
Кодинг-агент на ноутбуке без облака и без счёта за API
Мотивация в гайде бытовая и понятная: у автора всё время отваливался интернет, бросая его посреди задачи. Поэтому он собрал кодинг-агента, работающего целиком на ноутбуке. Стек: llama.cpp, скомпилированный с GGML_METAL=ON для ускорения на GPU Apple, Gemma 4 как основная модель в квантовании Q4 (~16 ГБ), черновая модель Q8 для Multi-Token Prediction (спекулятивное декодирование) и терминальный агент Pi, направленный на OpenAI-совместимый эндпоинт llama-server на localhost. Железо: M1 Max с 64 ГБ единой памяти.
24%, которые принесла черновая модель
Главная цифра — ускорение от добавления черновой модели MTP. На коротком Python-промпте (~128 сгенерированных токенов) автор замерил:
| Конфигурация | Скорость |
|---|---|
| Базовая Gemma 4 (llama.cpp Metal) | 58.2 tok/s |
| С черновой моделью MTP | 72.2 tok/s |
| Сравнение MLX-LM | 38.1–45.8 tok/s |
Это и есть прирост на 24% при неизменной обработке промпта. Он также отмечает, что Qwen3.6 35B как кодинг-агент лучше Gemma 4, но медленнее (~55 tok/s), размен качества на скорость.
Первая реакция треда: зачем столько возни?
Тред на 99 комментариев был полон практиков со своими локальными сборками, и чаще всего отмечали, что трудная часть этого гайда необязательна.
«или можно просто запустить ollama, дать ей загрузить локальную модель и направить на неё claude или opencode… Не пойму, зачем он возился со всем этим llama.cpp». — комментатор, у которого стек попроще
Другие раз за разом указывали на LM Studio как очевидный путь с графическим интерфейсом. Читатель проколол точную дыру в самом бенчмарке:
«Сгенерировать 128 токенов, вероятно, мало для хороших результатов бенчмарка. Ускорение MTP зависит от того, как часто принимаются предсказанные токены… короткое тестирование может давать ложноположительные ускорения». — комментатор, указавший на собственный sweep-инструмент llama.cpp
Метрика, которую меряют все, и та, которую не меряет никто
Самое острое возражение было вовсе не про инструменты. Оно было про то, что эти посты вообще измеряют.
«Больше всего в этих статьях про локальный ИИ меня бесит, что говорят только про токены в секунду. Качество ответов не упоминает никто. Никто. Я не против подождать чуть дольше, если качество выше. Быстро подавать мне шлак — не значит делать его полезнее». — читатель, уставший от бенчмарков только про скорость
Это переосмысляет весь жанр: скорость легко измерить и показать, полезность — нет.
Что сообщают те, кто реально этим занимается
Под спором о методологии опытные голоса тихо радовались работе «сначала локально», как бы медленна она ни была.
«Хоть моя локальная сборка немного медленная, делать настоящую работу полностью локально — это кайф». — mark_l_watson, автор 20 книг об ИИ и практик локальных моделей
И конкретная точка данных по модели тяжелее, чем в гайде:
«DeepSeek v4 Flash меня изрядно впечатлила… по „накопленным знаниям“ она ощущается как модель класса GPT-4, но лучше в долгих цепочках вызова инструментов… На MBP M4 Max со 128 ГБ я получаю ~24 t/s на генерации и ~200 t/s на префилле… на удивление полезна как „оркестратор машины“ для простых задач». — комментатор, запускающий DeepSeek v4 Flash на Mac со 128 ГБ
Складывающийся консенсус не о том, какой инструмент победил. А о том, что локальные кодинг-агенты на Mac с большим объёмом ОЗУ перешли из игрушки в рабочий инструмент, и что честный бенчмарк — хорош ли ответ, а не как быстро прилетает шлак.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
WASI 0.3 приносит нативный async — и в единственном рантайме, без браузера, снова ломает старый WASI
После двух почти безмолвных лет WASI 0.3 вышел 11 июня 2026 года с полноценным async, встроенным в Component Model. Теперь хост владеет одним общим циклом событий. Гендиректор Wasmer пришёл отметить, что он работает ровно в одном серверном рантайме и по-прежнему ломает оригинальный WASI.