CUDA

Его тезис звучит как правило: «по-настоящему надёжная инженерия — не про то, что работает для большинства, а про то, как изящно обработать крайние случаи». Тред разделился уже на том, верна ли сама эта рамка.

Самые острые ответы пошли дальше самого поста: 98% незаметно накапливается. При 99% точности на шаг дашборд из 20 панелей ломается почти при каждой пятой загрузке, а LLM, которая на 99% верно вызывает инструменты, всё равно спотыкается почти в каждой сессии.

При генерации токенов GPU часто простаивает не из-за нехватки вычислений, а потому что CPU ещё не закончил подготовку следующего токена. Moondream называет разрыв «пузырём GPU» и переписала движок Photon так, чтобы его спрятать: следующий проход вперёд накладывается на сэмплинг предыдущего.

Выигрыш растёт вместе с мощностью машины. На RTX 3090 приём даёт около 6,5%, а на B200, где синхронизация с CPU занимает бóльшую долю крошечного прохода в 2,4 мс, уже 35,4%. Инженер по инференсу возразил: цифра так велика лишь потому, что модель маленькая.

Modular предлагала переносимый компиляторный стек против привязки к CUDA от NVIDIA. Крис Латтнер, её основатель, создал LLVM, Clang и Swift. Покупатель проектирует чипы ARMv9 и почти не присутствует на рынке обучения уровня H100.

Тред читает сделку двояко. Один комментатор замечает, что основатель неоднократно писал о провалах аппаратных компаний в AI-стеках — и теперь покупатель сам оказался этой шуткой. Другой видит портфельный ход: Modular встаёт рядом с Tenstorrent и Ventana, пока Qualcomm движется от телефонных чипов к RISC-V и серверному AI.