显著超越已有SOTA！FlatFusion：深入探索基于稀疏Transformer的相机-激光雷达融合

文章预览

今天自动驾驶Daily今天为大家分享一篇基于稀疏Transformer的相机-激光雷达融合工作：FlatFusion。如果您有相关工作需要分享，请在文末联系我们！ 写在前面 & 个人理解 在自动驾驶场景中，来自不同传感器模式（如相机和激光雷达）的数据融合已成为一种普遍的方法。最近，高效点云transformer的发展强调了集成稀疏格式信息的有效性。在融合方面，由于图像块在像素空间中密集且深度模糊，因此需要额外的设计考虑以实现有效的融合。我们对基于Transformer的稀疏相机-激光雷达融合的设计选择进行了全面探索。这项研究涵盖了图像到3D和激光雷达到2D的映射策略、注意力邻居分组、单模态分词器以及Transformer的微观结构。通过整合我们研究中发现的最有效原则，引入了FlatFusion，这是一个精心设计的稀疏相机-激光雷达融合框架。值得注意的是，FlatFusion显 ………………………………