llama.cpp

На PS5 Slim README сообщает 207 токенов в секунду для модели Qwen на 0,8 млрд параметров, 55 — для 9 млрд и около 20 — для 27 млрд при контексте 64k. Консоль отдаёт модели 11,4 ГБ общей памяти.

Пост сталкивает плотную 27B с более быстрым MoE-вариантом на 35B и выбирает качество, а не скорость: «лучше сгенерирую втрое меньше кода, но качественнее». Модель прогнали через сборку гекс-сапёра и лендинг свечной лавки.

Основатель, у которого ровно такая машина, резко возразил: запусти на самом ноутбуке тяжёлую задачу — пальцы жжёт, вентиляторы воют. Его решение: поставить Mac Mini в подвал и ходить к нему через Tailscale, втрое дешевле.

Unsloth выпустил гайд по локальному запуску открытой GLM-5.2 — модели, которая, по ощущениям многих, закрывает разрыв с топовыми проприетарными.

Но владельцы железа в треде быстро приземлили эйфорию: «помещается в 256 ГБ» означает жёсткое квантование и черепашью скорость, а комфортный запуск — это 512 ГБ ОЗУ и пара видеокарт.

Главная мысль не про железо: открытая модель такого уровня показывает, что у OpenAI и Anthropic не магический ров, а лишь фора во времени.

Трюк — llama.cpp со спекулятивным декодированием и подобранным распределением тензоров по двум архитектурам, которые Nvidia никогда не задумывала вместе. Подвох, который замерил читатель: около 700 Вт под нагрузкой, хватает прогреть комнату.

Тред превратился в референдум. Один читатель платит в облаке около $3 за миллион токенов, причём без квантования, за ту же модель. Другой горюет, что культура «держи железо сам» «по сути мертва».

Гайд связывает офлайн кодинг-агента на M1 Max с 64 ГБ: llama.cpp, собранный с Metal, Gemma 4 в Q4 и черновая модель Multi-Token Prediction, поднимающая генерацию с 58 до 72 токенов/с.

Самая острая критика треда не про настройку, а про метрику: каждый пост о локальном ИИ меряет токены в секунду, но никто не меряет качество ответов. «Быстро подать мне шлак — не значит сделать его полезнее».