ICLR2024 | 多视图Transformer再次升级，直接感知三维几何信息

文章预览

前言   本文提出一种几何感知注意力机制，替换Transformer中原有的位置编码方式，使得Transformer更好地学习3D几何结构，有效提取3D特征信息。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 深蓝AI 仅用于学术分享，若侵权请联系删除 论文标题： GTA: A Geometry-Aware Attention Mechanism for Multi-View Transformers 论文作者： Takeru Miyato, Bernhard Jaeger, Max Welling, Andreas Geiger 由于Transformer作用等价于输入标记的置换，因此许多任务都需要对标记的位置信息进行编码。然而，目前的位置编码方案是为NLP任务设计的，因此它们是否适合视觉任务还存在疑问，主要原因是视觉任务的数据通常具有不同的结构属性。作者认为，现有的位置编码方案对于3D视觉任务来说并不合理， ………………………………