TPAMI 2024 | CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer

文章预览

题目：CrossFormer++: A Versatile Vision Transformer Hinging on Cross-Scale Attention CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer 作者：Wenxiao Wang; Wei Chen; Qibo Qiu; Long Chen; Boxi Wu; Binbin Lin; Xiaofei He; Wei Liu 摘要 虽然不同尺度的特征在视觉输入中具有感知重要性，但现有的视觉Transformer尚未显式利用这些特征。为此，我们首先提出了一种跨尺度视觉Transformer，即CrossFormer。它引入了跨尺度嵌入层（CEL）和长短距离注意力（LSDA）。一方面，CEL将每个标记与不同尺度的多个补丁混合，为自注意力模块本身提供跨尺度特征。另一方面，LSDA将自注意力模块分为短距离和长距离部分，这不仅减少了计算负担，还保留了标记中的小尺度和大尺度特征。此外，通过对CrossFormer的实验，我们观察到影响视觉Transformer性能的另外两个问题，即自注意力图的扩展和幅度爆炸。因此，我们 ………………………………