«Запусти GLM-5.2 локально» — мелким шрифтом: 512 ГБ ОЗУ и два 3090
Открытая модель догнала топовые проприетарные. Гайд обещает локальный запуск — но в треде владельцы железа считают реальную цену: 6 токенов в секунду на сборке, о которой автор «жалеет каждый день».
Unsloth выпустил гайд по локальному запуску открытой GLM-5.2 — модели, которая, по ощущениям многих, закрывает разрыв с топовыми проприетарными.
Но владельцы железа в треде быстро приземлили эйфорию: «помещается в 256 ГБ» означает жёсткое квантование и черепашью скорость, а комфортный запуск — это 512 ГБ ОЗУ и пара видеокарт.
Главная мысль не про железо: открытая модель такого уровня показывает, что у OpenAI и Anthropic не магический ров, а лишь фора во времени.
Контекст
Unsloth опубликовал гайд по локальному запуску GLM-5.2 — открытой модели, которую в треде многие называют первой, реально подобравшейся к проприетарным флагманам. Пост собрал 360+ очков, и обсуждение мгновенно ушло в практику: а что значит «локально» в деньгах и токенах в секунду.
Что произошло
Заявленный минимум по гайду — 24 ГБ VRAM и 256 ГБ ОЗУ для выгрузки слоёв MoE на CPU. Звучит достижимо, пока в треде не появляются те, кто это реально гонял.
Что говорит тред
Конкретные цифры от владельца сборки:
«Гоняю Q4_K_XL. Чтобы получить ~6 ток/сек, нужно всего-то 512 ГБ ОЗУ и две 3090 на llama.cpp с -cmoe. У меня ещё убогая DDR4 на 2400, на 3200 было бы около 9 ток/сек. Я сделал бюджетную сборку до скачка цен на железо — и жалею об этом каждый день» — segmondy
Скептик предупреждает, что заголовок вводит в заблуждение:
«"Помещается" в 256 ГБ ОЗУ — но это будет жёстко квантованная модель, и работать она будет очень медленно. Цифра в заголовке — это не генерация токенов, а обработка промпта. На машине, которая не грузит всё в GPU, prompt processing идёт в 20–50 раз медленнее» — skiing_crawling
Есть и прямое обвинение в «приманке за скачивание»:
«При всём уважении к unsloth, этот пост похож на download-bait. Выгрузка слишком большого числа слоёв на CPU вообще не сработает — пробовал много раз. И сомневаюсь, что 1- или 2-битные кванты GLM 5.2, работающие в основном вне VRAM, обгонят Q8 у Qwen» — zkmon
Но за всей придиркой к железу — большая мысль:
«Спорю, OpenAI и Anthropic ненавидят тайминг GLM 5.2. Он показывает, что у них фора, а не магический ров» — Havoc
И почему это важно для пользователей — объясняет drudolph914: окно «субсидированных» цен на AI скоро закроется, и наличие открытой модели, достаточно близкой к топу, до этого момента — страховка от владельца, который однажды поднимет ценник.
Что это значит
Сюжет тут двойной. По железу — «локальный запуск» SOTA-уровня всё ещё стоит как небольшой автомобиль, и маркетинговое «256 ГБ» прячет приговор по скорости. Но по сути — открытая GLM-5.2 меняет правило игры: если такую модель можно скачать, то отрыв проприетарных лабораторий измеряется месяцами форы, а не патентованной магией. И именно это нервирует индустрию больше, чем счёт за оперативку.
Получайте такие разборы каждый день
Главные истории Hacker News — на email, в Telegram или RSS.
«Расширенное мышление» Claude Code — это пересказ. Настоящие мысли вам не покажут
То, что вы читаете в блоке размышлений, — не реальная цепочка рассуждений модели, а её причёсанное резюме. И вы платите за токены, которые вам не дают прочитать.