大模型新架构Mamba万字综述：背景知识、最新进展、数据适配、模型应用、挑战机遇

文章预览

深度学习（DL）作为一种重要的技术，已经在人工智能（AI）中引发了一场显著的革命，极大地改变了人类的生活方式。作为最具代表性的深度学习技术之一，Transformer架构已经赋能了众多先进的模型，尤其是包含数十亿参数的大型语言模型（LLMs），成为深度学习的基石。 尽管取得了令人印象深刻的成就，但Transformer仍然面临着固有的局限性，特别是由于注意力计算的二次方计算复杂度导致的耗时推理。最近，一种名为Mamba的新型架构，从经典的状态空间模型（SSMs）中汲取灵感，作为构建基础模型的有前途的替代方案出现，它在保持与Transformer相当的建模能力的同时，对于序列长度具有近线性的可扩展性。这激发了越来越多的研究积极探索Mamba在不同领域实现卓越性能的潜力。鉴于这种快速发展，迫切需要一个系统性的回顾，整合现有的Mamba赋能模型 ………………………………