【慕尼黑工业大学】SpaRC：用于3D目标检测的稀疏雷达-相机融合

文章预览

点击下方 卡片 ，关注“ 自动驾驶专栏 ”公众号 自动驾驶干货 ，即可获取 论文链接： https://arxiv.org/pdf/2411.19860 代码链接：https://github.com/phi-wol/sparc 摘要 本文介绍了SpaRC：用于3D目标检测的稀疏雷达-相机融合。本项工作提出了SpaRC，这是一种用于3D感知的新型稀疏融合transformer，它将多视图图像语义与雷达和相机点特征相结合。雷达和相机模态的融合已经成为自动驾驶系统的一种有效感知范式。传统方法利用稠密的基于鸟瞰图（BEV）的架构来实现深度估计，而当代基于查询的transformers通过以目标为中心的方法在纯相机检测任务中表现出色。然而，由于隐式深度建模，这些基于查询的方法在假阳性检测和定位精度方面存在局限性。本文通过三个关键贡献来应对这些挑战：（1）用于跨模态特征对齐的sparse frustum fusion（SFF）；（2）用于精确目标定位的距 ………………………………