Llmspeed оценивает, насколько быстрой будет локальная модель на примерно 30 устройствах до покупки

Что делает инструмент

Llmspeed позволяет выбрать устройство или модель и увидеть, насколько быстро она будет ощущаться. Сам сайт предупреждает, что цифры — это «оценки для короткого промпта на одном устройстве». Часть данных взята из бенчмарков сообщества, часть рассчитана по характеристикам железа. На странице не указаны ни метрика, ни единица измерения.

Владельцы проверили цифры на своём железе

Владельцы этого железа проверили цифры и нашли расхождения в обе стороны:

«Не понимаю, на чём основаны эти оценки, но мой M2 Ultra 128 ГБ работает почти вдвое быстрее, чем заявлено для M3 Ultra 512 ГБ.» — pil0u, владелец M2 Ultra 128 ГБ

«Там написано 46 tok/sec для Qwen3.6-27b 4 bit на RTX5090, а я получаю 60–70 tok/sec на небольшом контексте, таком как этот (веса 5 bit с KV-кэшем 8 bit)… Если добавить ngram-спекуляцию, выходит 100+ tok/sec на коде.» — kgeist, который запускает эту модель на RTX 5090

Комментатор, который на работе настраивает vLLM, сказал, что агентное программирование с промптами на 60–140 тысяч токенов даёт «половину или треть» от пропускной способности декодирования из бенчмарков.

Llmspeed стоит воспринимать как грубую проверку диапазона для коротких промптов. Прежде чем тратить деньги на железо, сверьте нужную ячейку с измеренным результатом для той же карты и помните, что длинные агентные контексты работают медленнее.