ACCV'24 | DeBiFormer：精确捕捉，基于可变形点的双层路由注意力新框架

文章预览

来源：晓飞的算法工程笔记 公众号，转载请注明出处 论文: DeBiFormer: Vision Transformer with Deformable Agent Bi-level Routing Attention 论文地址：https://arxiv.org/abs/2410.08582 论文代码：https://github.com/maclong01/DeBiFormer 创新点 提出了可变形双层路由注意力（ DBRA ），一种用于视觉识别的注意力内注意力架构，利用代理查询优化键值对的选择并增强注意力图中查询的可解释性。 提出了一种新型主干网络 DeBiFormer ，基于注意力热图的可视化结果具有更强的识别能力。 在 ImageNet 、 ADE20K 和 COCO 上进行的大量实验表明， DeBiFormer 始终优于其他基线。 内容概述 为了改善注意力，许多研究提出了精心设计的高效注意力模式，其中每个查询仅选择一小部分键值对进行关注。然而，尽管有不同的合并或选择键和值标记的策略，这些标记对于查询而言并不具有语义性。在将预训练的 ………………………………