​Transformer升级之路：从Performer到线性Attention

文章预览

©PaperWeekly 原创 · 作者｜苏剑林 单位｜追一科技 研究方向｜NLP、神经网络 看过笔者之前的文章 线性Attention的探索：Attention 必须有个 Softmax 吗？ 和 Performer：用随机投影将 Attention 的复杂度线性化 的读者，可能会觉得本文的标题有点不自然，因为是先有线性 Attention 然后才有 Performer 的，它们的关系为“Performer 是线性 Attention 的一种实现，在保证线性复杂度的同时保持了对标准 Attention 的近似”，所以正常来说是“从线性 Attention 到 Performer”才对。 然而，本文并不是打算梳理线性 Attention 的发展史，而是打算反过来思考 Performer 给线性 Attention 所带来的启示，所以是“从 Performer 到线性 Attention”。 激活函数 线性 Attention 的常见形式是： 其中 、 是值域非负的激活函数 ………………………………