TPAMI 2024 | 悉尼大学提出四边形注意力的视觉Transformer，胜任各种任务的全新框架来袭！

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 题目：Vision Transformer With Quadrangle Attention 四边形注意力的视觉Transformer 作者：Qiming Zhang; Jing Zhang; Yufei Xu; Dacheng Tao 摘要 基于窗口的注意力由于其优异的性能、较低的计算复杂度和较小的内存占用，已成为视觉Transformer中的热门选择。然而，手工设计的窗口是数据无关的，限制了 Transformer 适应不同大小、形状和方向的对象的灵活性。为了解决这个问题，我们提出了一种新的四边形注意力（QA）方法，该方法将基于窗口的注意力扩展到通用的四边形公式。我们的方法采用端到端的可学习四边形回归模块，该模块预测变换矩阵，将默认窗口变换为目标四边形，以便对令牌进行采样和注意力计算，从而使网络能够模拟具有不同形状和方向的各种目标，并捕捉丰富的上下文信 ………………………………