CrankGPT выглядит как сайт-шутка. Рукояточный ИИ внутри — настоящий (crankgpt.com)
Аварийный 20-ваттный ручной генератор питает Pi 5 через кастомную плату с конденсаторами, буферизующими около 20 секунд энергии. Модель на 350M параметров выдаёт ~49 токенов/сек; холостой ток — 4Вт, пик во время генерации речи — до 5А.
Нагрузку от инференса чувствуешь запястьем: когда модель и синтез речи работают одновременно, рукоятка физически тугеет. Половина треда хотела купить такое; другая половина уже представляла людей в беличьих колёсах на службе у ИИ-повелителей.