如何评价最新的Mamba？真的能超越Transformer吗？最新综述！

文章预览

写在前面 & 笔者的个人理解 深度学习作为一项重要技术，引发了人工智能（AI）的一场非凡革命，导致了人类生活方式的巨大变化。作为最具代表性的架构，Transformers已经为众多高级模型提供了支持，特别是包含数十亿个参数的大型语言模型（LLM），成为深度学习的基石。尽管取得了令人瞩目的成就，但Transformer仍然面临着固有的局限性，特别是注意力计算的二次计算复杂性导致的耗时推理。最近，一种名为Mamba的新型架构从经典状态空间模型中汲取灵感，成为构建基础模型的有前景的替代方案，在保持序列长度接近线性可扩展性的同时，为Transformers提供了可比的建模能力。这引发了越来越多的研究，积极探索Mamba在各个领域取得令人印象深刻的性能的潜力。鉴于这种快速发展，迫切需要进行系统审查，巩固现有的Mamba授权模型，全面了解这种新兴 ………………………………