Vision Transformer | Mamba 架构在计算机视觉中的崭露锋芒 ！

文章预览

状态空间模型（SSM）是一种用于描述和分析动态系统行为的数学模型。该模型在控制理论、信号处理、经济学和机器学习等多个领域得到了广泛应用。在深度学习领域，状态空间模型被用于处理序列数据，如时间序列分析、自然语言处理（NLP）和视频理解。 通过将序列数据映射到状态空间，可以更好地捕捉数据中的长期依赖关系。特别是现代SSM在NLP中表现出强大的表示能力，尤其是在长序列建模中，同时保持了线性时间复杂度。 值得注意的是，基于最新的状态空间模型，Mamba 将时间变化参数融合到SSM中，并制定了一种硬件感知算法以实现高效的训练和推理。 鉴于其令人印象深刻的效率和强大的长距离依赖建模能力，Mamba有望成为一种可能超越Transformer的新AI架构。 最近，一些研究试图通过将Mamba从自然语言领域扩展到视觉领域，探索Mamba在通用视 ………………………………