Каждый слой трансформера — это память, и расчёт ёмкости объясняет, почему выигрывает внимание

Ёмкость как бюджет помех

Пост утверждает, что линейные слои, MLP и self-attention: всё это ассоциативные хранилища памяти: каждое сохраняет пары ключ-значение и извлекает значения по схожести, а их ёмкость различается тем, как они справляются с помехами. Метрика — отношение помех к сигналу, а ёмкость — число воспоминаний, при котором помехи сравниваются с сигналом.

Хранилище на внешнем произведении имеет ёмкость примерно d_k. Если подогнать все воспоминания совместно методом наименьших квадратов, ключи отбеливаются (whitening), и ёмкость примерно удваивается до 2d_k. Пропуская сходства через нелинейность, можно подавить слабые совпадения: ReLU даёт около 2d_k, квадрат ReLU — около 2d_k^2/3, куб ReLU — около 2d_k^3/15. С экспонентой ёмкость softmax-self-attention растёт экспоненциально с остротой: при остроте sqrt(d_k) и d_k=64 она составляет около 1,2 миллиона воспоминаний. Поскольку каждый токен контекста добавляет воспоминание, внимание непараметрично. Если масштабировать остроту по log M, помехи остаются низкими по мере роста числа воспоминаний.

Читатели принесли свои области: нейронауку и обработку сигналов

Тред разделился на тех, кто нашёл математику непроницаемой, и на тех, кто её узнал. Нейровизуализатор, в био которого указаны память и развитие мозга, направил автора к биологии:

«Разреженное кодирование в гиппокампе, ортогонализация, разделение паттернов и их завершение и т. д. могут оказаться для вас интересными поисковыми запросами.»

Инженер-электрик, как он сам себя назвал, написал, что попросил чат-бота перевести пост на язык DSP, и это помогло. Словарь помех, сигнала и ёмкости: тот, которым уже пользуется специалист по связи.

Оценки в посте предполагают случайные ключи и значения, поэтому это верхние оценки-интуиции о том, почему внимание масштабируется с контекстом, а не измеренные пределы. Исследования, которые считают биты на параметр, получают другие числа.