Mamba是一种线性注意力？清华大学揭开视觉Mamba的真面目！

文章预览

作者 | 科技猛兽  编辑 | 极市平台 点击下方 卡片 ，关注“ 自动驾驶之心 ”公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >> 点击进入→ 自动驾驶之心 『 Mamba 』 技术交流群 本文只做学术分享，如有侵权，联系删文 导读   本文揭示了 Mamba 模型与 Linear Attention Transformer 之间有着惊人的相似之处。作者通过探索 Mamba 和 Linear Transformer 之间的相似性和差异，在本文中提供了一个全面的分析来揭示 Mamba 成功的关键因素。 本文目录 1 揭秘视觉 Mamba：一种线性注意力机制视角 (来自清华大学 (黄高团队)，阿里巴巴) 1 MLLA 论文解读 1.1 探索 Mamba 和 Linear Attention Transformer 的关联 1.2 线性注意力与选择性状态空间模型简介 1.3 用统一的视角看待选择性状态空间模型与线性注意力 1.4 关于每个差异的分析 1.5 宏观架构设计 1.6 每种差异的影响和 MLLA 最终方案 1.7 ………………………………