一文看懂Mamba，Transformer最强竞争者

文章预览

在所有深度学习架构中，近些年最成功的莫过于 Transformer。而SSM 最成功的变体之一 Mamba 的建模能力已经可以比肩 Transformer，并有望变革计算机视觉、自然语言处理和医疗等多个研究和应用领域。 近日，香港理工大学的一个研究团队在 arXiv 上发布了他们的有关Mamba的综述报告。这份综述报告从多个角度对 Mamba 进行了总结，既能帮助初学者学习 Mamba 的基础工作机制，也能助力经验丰富的实践者了解最新进展。 深度学习架构有很多，但近些年最成功的莫过于 Transformer，其已经在多个应用领域确立了自己的主导地位。 如此成功的一大关键推动力是注意力机制，这能让基于 Transformer 的模型关注与输入序列相关的部分，实现更好的上下文理解。但是，注意力机制的缺点是计算开销大，会随输入规模而二次增长，也因此就难以处理非常长的文本。 好在前段 ………………………………