Mac на 64 ГБ и локальная модель, которую перестали перепроверять

День, когда бесплатной модели перестал нужен надзор

Два года честным ответом про локальные LLM было: «годится для демо, но не для продакшна». Пост Вики Бойкис доказывает, что это тихо изменилось, и набрал 1028 голосов на Hacker News, потому что она называет конкретный момент, когда это случилось для неё.

Сетап намеренно непримечателен: Mac M2 2022 года, 64 ГБ памяти, 1 ТБ хранилища. На нём агентные процессы кодинга упираются в потолок около 64 ГБ K-V-кэша. Она протестировала Mistral 7B, Gemma 3 и 4, Qwen и OSS-20B от OpenAI и вышла примерно на 75% точности фронтира в агентном кодинге. Её мерило «достаточно хорошо» — не таблица лидеров, а личная вайб-метрика: «надо ли мне перепроверять это против API-модели». OSS-20B стала первой, где она перестала делать это так часто. Глубже она ставит вопрос: «если нас ограничивают производительность и цена, на какие архитектурные компромиссы придётся идти?»

Золотая середина: 30B и смесь экспертов

Самое точное замечание практика в треде указывает на конкретный класс моделей, а не на ощущение.

«есть что-то крайне интересное в локальной модели на смеси экспертов… с порядка 30 миллиардами параметров… занимает около 20–30 ГБ памяти» — Саймон Уиллисон, создатель Datasette

Другой комментатор замерил реальную пропускную способность: 8-битная Qwen3.6 27B выдаёт 30 ток/с на llama.cpp, попадая «на уровень SotA середины-конца 2025-го».

«её 8-битная версия работает на 30 ток/с… даёт более-менее уровень SotA середины-конца 2025-го» — разработчик, тестирующий локальные LLM на Apple Silicon

Сноска, которую на посте печатать не хотят

У восторга есть жёсткий пол. Владелец сборки на 128 ГБ, который сам хочет победы локальных моделей, всё же предостерёг от жанра постов о паритете.

«С крупными проприетарными моделями можно быть гораздо более расплывчатым в задачах… с локальными промпт нужно прописывать куда детальнее» — пользователь, работающий и с локальными моделями класса 128 ГБ, и с крупными проприетарными

Изменилось не правило «локальное заменяет фронтир». Изменилось то, что разрыв стал налогом на рабочий процесс, а не стеной: фронтир-модель пишет план, локальная 30B его исполняет, и вы меняете доллары на токены и дисциплину промпта. Для лабораторий, сдающих доступ помесячно, опасна именно эта арифметика: клиенты теперь умножают подписку на 24 и спрашивают, не окупится ли сначала железо.