透视与 BEV 融合，HyDRa 混合 Transformer 模块提升3D感知能力 ！

文章预览

低成本的、以视觉为中心的自动驾驶3D感知系统近年来取得了显著进展，缩小了与昂贵激光雷达（LiDAR）方法的差距。要成为完全可靠的替代品，主要挑战在于强大的深度预测能力，因为基于相机的系统在长距离检测以及恶劣的光照和天气条件下存在困难。 在这项工作中介绍了HyDRa，一种用于多种3D感知任务的新型相机-雷达融合架构。基于密集的鸟瞰图（BEV）架构的原则，HyDRa引入了一种混合融合方法，在两种不同的表示空间中结合了相机和雷达特征的优点。高度关联Transformer模块利用雷达特征在透视视图中生成更稳健和准确的深度预测。在BEV中通过雷达加权深度一致性改进了初始稀疏表示。 HyDRa在公开的nuScenes数据集上实现了相机-雷达融合的新纪录，NDS达到64.2（提高了1.8）和AMOTA达到58.4（提高了1.5）。此外，我们新的富含语义且空间准确BEV特征可 ………………………………