Нужны ли трансформеру три отдельные проекции? Одну убрали — почти не заметили (arxiv.org)
Систематическое исследование тестирует внимание трансформера с общими проекциями: Q-K=V, Q=K-V и единственная общая проекция — на синтетических задачах, датасетах для зрения и LLM на 300M и 1,2B параметров.
Главный вывод: схема Q-K=V даёт сокращение KV-кэша на 50% ценой всего 3,1% перплексии и складывается с GQA/MQA вплоть до ~97% экономии кэша.
Оговорка треда: LLM видели всего 10B токенов — в 1000 раз меньше современных переобученных моделей, так что обобщаемость не доказана. А обозначение со знаком минус довело читателя до белого каления.