Четыре Mac Studio на M5 Ultra по Thunderbolt 5 запускают модель на 816 млрд параметров (machinelearning.apple.com)
Команда Apple MLX протестировала тензорный параллелизм поверх RDMA через Thunderbolt 5: четыре машины декодируют со скоростью 36,73 токена в секунду при контексте 8 192 токена, против 15,74 у конвейера из двух машин. Один M5 Ultra декодирует примерно в 1,6 раза быстрее M3 Ultra.
Войдите, чтобы сохранить