长序列中Transformers的高级注意力机制总结

文章预览

前言   本文的重点是深入研究长序列种应用的高级注意力机制的数学复杂性和理论基础，这些机制可以有效地管理Transformer模型中的长序列所带来的计算和认知挑战。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源：DeepHub IMBA 仅用于学术分享，若侵权请联系删除 序列长度对注意力的影响 为了理解较长的序列是如何稀释注意力得分和增加噪音的，我们需要深入研究Transformers等模型中使用的注意力机制的数学原理。 Transformer中的注意机制基于缩放点积注意，其定义为: Q (Query)， K (Key)和V (Value)是由输入嵌入导出的矩阵。Dk是向量的维数，用于缩放点积以防止可能破坏softmax函数稳定的大值。 考虑一个简单的例子，其中Q和K是相同的，每个元素都同样相关: ………………………………