阿里提出Mamba in Mamba | 比现有SOTA提速10倍，GPU使用减少73.4%，性能原地起飞

文章预览

得益于基础模型的发展，红外小目标检测（ISTD）算法取得了显著进展。特别是，结合卷积网络和 Transformer 结构的模型能够很好地提取局部和全局特征。同时，它们也继承了基础模型的缺陷，例如， Transformer 的二次计算复杂度，这影响了效率。 受近期一个具有线性复杂度用于长距离建模的基础模型Mamba的启发，本文探索了这种状态空间模型在ISTD中的潜力。然而，直接应用是不合适的，因为对检测小目标至关重要的局部特征无法得到充分利用。相反，作者为高效的ISTD定制了一种Mamba-in-Mamba（MiM-ISTD）结构。例如，作者将局部Patch视为“视觉句子”，并将它们进一步分解为作为“视觉单词”的子Patch以进一步探索局部性。给定视觉句子中每个单词之间的交互将在几乎无计算成本的情况下计算。通过聚合单词和句子特征，MiM-ISTD的表现能力可以得到显著增 ………………………………