TPAMI 2024 | CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer

文章预览

前言   虽然不同尺度的特征在视觉输入中具有感知重要性，但现有的视觉Transformer尚未显式利用这些特征。为此，本文提出了一种跨尺度视觉Transformer，即CrossFormer。它引入了跨尺度嵌入层（CEL）和长短距离注意力（LSDA），CrossFormer++在图像分类、目标检测、实例分割和语义分割任务上均优于其他视觉Transformer。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 题目： CrossFormer ++: A Versatile Vision Transformer Hinging on Cross-Scale Attention CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer 作者：Wenxiao Wang; Wei Chen; Qibo Qiu; Long Chen; Boxi Wu; Binbin Lin; Xiaofei He; Wei Liu 摘要 虽然不同尺度的特征在视觉输入中具有感知重要性，但现有的视觉Transformer尚未显式利用这些特征。为此， ………………………………