Каждый слой трансформера — это память, и расчёт ёмкости объясняет, почему выигрывает внимание (alexwang.ai)
Линейный слой удерживает примерно столько воспоминаний, какова размерность его ключа. Совместное обучение удваивает это число, ReLU-MLP достигает около 2d, а softmax-внимание с резкостью sqrt(d) при d=64 хранит около 1,2 миллиона.
Войдите, чтобы сохранить