Sigmoid注意力一样强，苹果开始重新审视注意力机制

文章预览

前言   近来，一些研究探索了 Transformer 中 softmax 注意力的替代方案，例如 ReLU 和 sigmoid 激活函数。最近，来自苹果的研究者重新审视了 sigmoid 注意力并进行了深入的理论和实验分析。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源 ： 机器之心 仅用于学术分享，若侵权请联系删除 该研究证明： 从理论上讲，与 softmax 注意力相比，具有 sigmoid 注意力的 Transformer 是通用函数逼近器，并且受益于改进的正则化 。 论文地址：https://arxiv.org/pdf/2409.04431 项目地址：https://github.com/apple/ml-sigmoid-attention 论文标题：Theory, Analysis, and Best Practices for Sigmoid Self-Attention 该研究还提出了一种硬件感知且内存高效的 sigmoid 注意力实现 ——FLASHSIGMOID。FLASHSIGMOID 在 H100 GPU 上的 ………………………………