PS5LM превращает взломанную PlayStation 5 в LLM-сервер с API, совместимым с OpenAI (github.com)
На PS5 Slim README сообщает 207 токенов в секунду для модели Qwen на 0,8 млрд параметров, 55 — для 9 млрд и около 20 — для 27 млрд при контексте 64k. Консоль отдаёт модели 11,4 ГБ общей памяти.
Войдите, чтобы сохранить