Четыре Mac Studio на M5 Ultra по Thunderbolt 5 запускают модель на 816 млрд параметров

Как разделить модель, которая не помещается

Исследование Apple измеряет Muse Spark Open, модель со смесью экспертов (MoE) на 816 млрд параметров, из которых 42 млрд активны, в 4-битном NVFP4, а также две плотные модели: Mistral Medium 3.5 (128 млрд, FP8) и Qwen 3.8 (27 млрд, BF16). Оборудование — Mac Studio с M5 Ultra (пропускная способность памяти 1,2 ТБ/с, до 512 ГБ) против M3 Ultra (819 ГБ/с), соединённых по RDMA через Thunderbolt 5, на macOS 26.2 и MLX v0.30.1 или новее.

Сравнивались две схемы: конвейерный параллелизм, который делит модель по глубине слоёв, и тензорный параллелизм, который делит ширину каждого слоя и требует низколатентных соединений. На четырёх M5 Ultra с тензорным параллелизмом Muse Spark Open генерирует 36,73 токена/с при 8 192 токенах, против 15,74 токена/с при конвейере на двух машинах. Qwen 3.8 выдаёт 50,89 токена/с, а Mistral Medium 3.5 — 23,37. Нейроускорители M5 Ultra сокращают время до первого токена в 4,6 раза по сравнению с M3 Ultra: Qwen 3.8 падает с 18,2 с до 4,1 с. При 65 536 токенах конвейер на двух машинах обрабатывает промпт примерно в 1,8 раза быстрее, чем одна машина. Пиковое потребление — около 200 Вт у M3 Ultra и 300 Вт у M5 Ultra.

Цена железа и длина контекста решают, кто может этим пользоваться

Разработчик со стажем 35 лет, из них десять в IDEO, назвал это «скорее академическим»: Mac Studio на 256 ГБ стоит от 9 499 долларов, цена на 512 ГБ не объявлена, а «когда говоришь про четыре таких штуки, это уже существенно». На этом фоне комментатор, который проверял DeepSeek 4.1 Flash и GLM 5.3 Flash на машинах класса M5, сообщил, что одна M5 Ultra с 256 ГиБ запускает первую модель примерно на 45 токенах/с, и что он сверил качество на MathArena Apex и GPQA Diamond с официальными цифрами.

В таблицах поста размер контекста не указан для каждой строки, поэтому заявленные 36,73 токена/с стоит считать случаем 8 192 токенов. Покупателю важно другое сравнение: одна большая машина, которая хорошо тянет модель поменьше, против четырёх Mac, которые запускают Muse Spark Open при таком коротком контексте.