Sigmoid注意力一样强，苹果开始重新审视注意力机制

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 论文地址：https://arxiv.org/pdf/2409.04431 项目地址：https://github.com/apple/ml-sigmoid-attention 论文标题：Theory, Analysis, and Best Practices for Sigmoid Self-Attention 计算机视觉研究院专栏 Column of Computer Vision Institute 注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。 将查询与所有键进行点积，然后通过 softmax 函数归一化，会得到每个键对应的注意力权重。 尽管 SoftmaxAttn 中的 softmax 具有广泛的用途和有效性，但它并非没有局限性。例如，softmax 函数有时会导致注意力集中在少数几个特征，而忽略了其他信息。 近来，一些研究探索了 Transformer 中 softmax 注意力的替代方案，例如 ReLU 和 sigmoid 激活函数。最近，来自苹果 ………………………………