简单图解一下线性注意力机制

文章预览

知乎 ：刀刀宁 链接 ：https://zhuanlan.zhihu.com/p/718156896 线性注意力机制的文章有很多了，在本篇笔记中，我们简单地对各种方法进行一下图解比较，串一下当前的线性注意力机制，涉及的公式极少，主要梳理逻辑脉络。本文会从 state space model 中间状态模型这条主线，来梳理 RNN、LSTM，再到 Retentive、GLA 等 Linear Attention 的改进版，最后再到 Mamba、Mamba-2、RWKV 等方法。 线性注意力机制的好处很多，可以用“多快好省”来形容：理论复杂度低、速度快、结构简单、上下文长度线性依赖、KVCache 不需要额外存储，且优化容易。但相比 full attention，线性注意力机制的表达能力确实差一截，且无法完全丢弃历史信息，类似于 RNN 的遗忘和依赖关系，因此产生了各种改进方法。 同时，线性注意力也具备很多并行和 IO 感知的优化，否则复杂度线性化后，并行和运算速 ………………………………