新的Mamba架构又双叒来了！上交大 & 华为提出QuadMamba ：多个视觉任务SOTA!

文章预览

↑ 点击 蓝字  关注极市平台 作者丨AI视界引擎 来源丨AI视界引擎 编辑丨极市平台 极市导读   该研究通过分析Transformer模型中的反向传播矩阵，提出了一种新的方法来理解语言模型（LM）如何学习和记忆信息。论文提出了将梯度矩阵映射到词汇空间的技术，揭示了LM在学习新知识时的内在机制，并探讨了梯度的低秩性以及“印记与偏移”的知识存储与模型编辑机制。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 近年来，状态空间模型（State Space Models）中的Mamba取得了显著的进展，在性能上超过了主导的Transformer模型，尤其是在降低计算复杂度方面，从二次降到了一次。然而，由于视觉数据的独特特性，如图像中的空间局部性和邻接关系以及视觉 Token 的信息粒度变化很大，Mamba从语言任务转换到视觉任务时存在困难。现有的视觉Mamba方法要么 ………………………………