ICLR2024佳作：多视图Transformer再次升级，直接感知三维几何信息

文章预览

论文标题： GTA: A Geometry-Aware Attention Mechanism for Multi-View Transformers 论文作者： Takeru Miyato, Bernhard Jaeger, Max Welling, Andreas Geiger 编译：匡吉 审核： Los 导读： 本文提出一种几何感知注意力机制，替换Transformer中原有的位置编码方式，使得Transformer更好地学习3D几何结构，有效提取3D特征信息。 ©️【深蓝AI】编译 由于Transformer作用等价于输入标记的置换，因此许多任务都需要对标记的位置信息进行编码。然而，目前的位置编码方案是为NLP任务设计的，因此它们是否适合视觉任务还存在疑问，主要原因是视觉任务的数据通常具有不同的结构属性。作者认为，现有的位置编码方案对于3D视觉任务来说并不合理，因为它们并不遵从其底层的3D几何结构。基于这一假设，本文提出了一种几何感知注意力机制，该机制将标记的几何结构编码为由查询和键值对之间的几 ………………………………