视觉Transformer中ReLU替代softmax

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 仅作学术分享，不代表本公众号立场，侵权联系删除 转载于：机器之心 Transformer 架构已经在现代机器学习领域得到了广泛的应用。注意力是 transformer 的一大核心组件，其中包含了一个 softmax，作用是产生 token 的一个概率分布。softmax 有较高的成本，因为其会执行指数计算和对序列长度求和，这会使得并行化难以执行。 Google DeepMind 想到了一个新思路： 用某种不一定会输出概率分布的新方法替代 softmax 运算。 他们还观察到：在用于视觉 Transformer 时，使用 ReLU 除以序列长度的注意力可以接近或匹敌传统的 softmax 注意力。 论文：https://arxiv.org/abs/2309.08586 这一结果为并行化带来了新方案，因为 ReLU 注意力可以在序列长度维度上并行化，其所需的 gather 运算少于传统的注意 ………………………………