清华 & 阿里巴巴开源 MLLA ！ 融合 Mamba 设计精髓的线性注意力视觉Transformer !

文章预览

Mamba是一种具有线性计算复杂度的有效状态空间模型，最近在处理各种视觉任务中的高分辨率输入时显示出惊人的效率。 在本文中，作者揭示了这个强大的Mamba模型与在实践中通常表现不如传统Transformer的线性注意力Transformer有着惊人的相似之处。通过探索高效Mamba与不佳的线性注意力Transformer之间的相似性和差异性，作者提供了全面的分析来揭秘Mamba成功背后的关键因素。 具体来说，作者将选择性的状态空间模型和线性注意力在一个统一公式中进行了重新阐述，将Mamba重新定义为具有六个主要区别的线性注意力Transformer的变体：输入门、遗忘门、捷径、无注意力归一化、单头和修改的块设计。 对于每个设计，作者仔细分析了其优缺点，并在视觉任务中实证评估了其对模型性能的影响。有趣的是，结果显示遗忘门和块设计是Mamba成功的关键贡献者，而 ………………………………