盘点当前主流注意力机制，第一名papers引用居然1.8w＋！

文章预览

关注 「 AIWalker 」 并 星标 从此AI不迷路 来源于 计算机视觉工坊 ，作者 小张Tt 在深度学习和神经网络领域，注意力机制已成为不可或缺的重要组件。它们不仅在自然语言处理（NLP）中展示了惊人的性能，还广泛应用于计算机视觉、语音识别等多个领域。注意力机制通过在处理数据时关注不同的部分，从而有效地提升模型的性能和准确度。令人惊讶的是，当前最主流的注意力机制之一，其相关论文的引用次数竟然超过了1.8万次！这篇文章将盘点当前主流的注意力机制，探讨它们的应用和影响力。 第一名 Scaled Dot-Product Attention（缩放点积注意力） papers：18768 缩放点积注意力是一种注意力机制，其中点积通过 进行缩放。形式上，我们有一个查询 ，一个键 和一个值 ，并计算注意力为： 如果我们假设 和 是 维向量，其分量是均值为 0、方差为 1 ………………………………