80 токенов/сек на двух разных видеокартах — и спор, нужен ли ещё свой хостинг

Сборка: два поколения видеокарт, одна модель

Разбор описывает нарочно разнородную сборку: 16-гиговая RTX 5080 (Blackwell) рядом с восстановленной 24-гиговой RTX 3090 (Ampere) на Asus Prime X570-Pro, делящей PCIe в режиме 8x/8x. На Qwen 3.6 27B в Q8 через llama.cpp с CUDA она выдаёт за 80 токенов в секунду (вплоть до 90+) при контексте 230K с квантованным KV-кэшем. Скорость даёт спекулятивное декодирование с предсказанием нескольких токенов плюс ngram-черновики и распределение тензоров вручную (-ts 2,3) по двум архитектурам, которые никто не проектировал под общую нагрузку. Вывод практичный: чтобы запустить крупную квантованную модель на пригодной скорости, парные одинаковые карты не нужны.

Тред заострил настройки самого автора. Читатель с очень высокой кармой детально поправил параметры сэмплера и спекулятивного декодирования:

«Рекомендованные значения для Qwen 3.6 в режиме размышления — --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.00… А ещё рекомендованные настройки MTP для Qwen — --spec-type draft-mtp --spec-draft-n-max 2. Тройка на железе Nvidia работает плохо». — читатель с детальным знанием тюнинга Qwen

Цифра, которую пост занижает: 700 Вт

Читатель с ваттметром у розетки назвал эксплуатационную цену, которую сборка обходит стороной:

«теперь под полной нагрузкой тянет 700 Вт. Одной 5080 уже хватает, чтобы заметно нагреть комнату (320 Вт у меня по замеру у розетки)… да и блок питания нужен хороший, и сами розетки стоит проверить». — читатель, замеривший потребление у розетки

Свой хостинг или аренда? Тред не сходится

Эта цифра по мощности и подпитала настоящий спор, который вообще не про токены в секунду. Аргумент про экономику облака был прямым:

«Я плачу ~$3 за 1M токенов за эту модель на OpenRouter, и она даже не квантованная. Восстановленная 3090 и 5080 обойдутся сильно дороже 2 тысяч, не говоря про электричество…». — читатель с высокой кармой, считающий облачную математику

Но тот, кто крутит ровно такую же сборку, доказывал, что локальное — не про цену, а про то, как модель ошибается:

«Я стал предпочитать свой локальный Qwen3.6 35B A3B и агент pi вместо Claude Code… Qwen ошибается куда понятнее… он просто уходит в зацикленные вызовы инструментов, которые ловит обвязка pi, тогда как Claude пытается всё более хитрые и творческие штуки, разводя всё больший бардак». — читатель с той же сборкой

А один голос оплакал сдвиг культуры под всем этим спором:

«Открытый код, держи сам, не плати ни за что… этот дух, кажется, по сути мёртв. Видимо, я старею». — читатель, у которого две 16-гиговые карты

Рецепт работает; вопрос в том, зачем его запускать

Как техническая штука сборка — небольшой успех: доказательство, что разнородные карты и хорошее спекулятивное декодирование дают почти фронтирную скорость на своём железе. Как экономическое предложение она по-настоящему спорна: $2000 кремния и 700 Вт против облачных токенов по $3 за миллион: это ставка на приватность, предсказуемость и понятные тебе режимы отказа, а не на экономию денег. Самый честный вывод треда: свой хостинг в 2026-м — это выбор ценностей, прикрытый бенчмарком.