断其一指，无惧！ProFusion3D: 相机或者激光失效仍高效的多传感器融合3D目标检测算法

文章预览

Abstract 多传感器融合在自动驾驶中的3D目标检测中至关重要，摄像头和激光雷达是最常用的传感器。然而，现有方法通常通过将两种模态的特征投影到鸟瞰视角（BEV）或透视视角（PV）来进行单视角的传感器融合，从而牺牲了高度或几何比例等互补信息。为了解决这个问题，我们提出了ProFusion3D，一种渐进融合框架，它在中间特征和目标查询级别中同时结合了BEV和PV中的特征。我们的架构通过分层融合局部和全局特征，提高了3D目标检测的鲁棒性。此外，我们引入了一种自监督掩码建模预训练策略，通过三个新的目标来提高多模态表示学习和数据效率。基于nuScenes和Argoverse2数据集的大量实验证明了ProFusion3D的有效性。此外，ProFusion3D在传感器失效时也表现出强大的鲁棒性，即使仅有一种模态可用时，仍能保持较好的性能。 代码获取 ： http://profusion3d.cs.u ………………………………