ECCV2024 | ViewFormer: 超越所有SOTA占据网络！

文章预览

来源： 自动驾驶Daily 我们组最近的工作 ViewFormer: Exploring Spatiotemporal Modeling for Multi-View 3D Occupancy Perception via View-Guided Transformers 主要讨论多视角相机时空感知问题，虽然围绕占据网格任务展开，但实施方法聚焦在时空特征建模方面，同样适用于其他主流智驾感知任务。该方法近期还获得了 RoboDrive Challenge Occupancy 赛道冠军。观点如下： 基于Transformer的稀疏多视图特征交互方案中，主流方法主要沿用类BEVFormer的方法，先将3D参考点投影到图像上，再利用2D的deformable attn.收集特征，文中我们将该方案称为projection-first方法。受限于传感器布局，不同相机之间的共视区域通常较少，多数3D参考点本身仅能投影到单张图像内，导致该方法仅能为query收集到单图像的特征，有违多视图感知的初衷。针对该问题我们提出了learning-first方案，先学习3D局部点集，再利用 ………………………………