再战Transformer！原作者带队的Mamba 2来了，新架构训练效率大幅提升

文章预览

点击下方 卡片 ，关注 「3D视觉工坊」 公众号 选择 星标 ，干货第一时间送达 来源：机器之心 | 编辑：3D视觉工坊 添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群 扫描下方二维码，加入 3D视觉知识星球 ，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料： 近20门视频课程（星球成员免费学习） 、 最新顶会论文 、计算机视觉书籍 、 优质3D视觉算法源码 等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！ 自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，一直稳居语言建模方面 C 位。 但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显。一个很明显的缺陷是：Transformer 模型中自注意力机制的计算量会随着上下文长度的增加呈平方级增长。 几个月前，Mamba 的 ………………………………