基于Transformer的多模态BEV融合方案

文章预览

论文地址：https://arxiv.org/pdf/2312.14919.pdf 结合互补的传感器模式对于为自动驾驶 (AD) 等安全关键型机器人应用提供强大的感知至关重要。最近用于 AD 的最先进的相机-激光雷达融合方法依赖于单目深度估计，与直接使用来自激光雷达的深度信息相比，这是一项众所周知的困难任务。 在这里，作者发现这种方法没有像预期的那样利用深度，并且表明简单地改进深度估计不会导致对象检测性能的改进，并且令人惊讶的是，完全删除深度估计不会降低对象检测性能。这表明，在相机-激光雷达融合过程中，依赖单目深度可能是不必要的架构瓶颈。 在这项工作中，作者引入了一种新颖的融合方法，该方法完全绕过单目深度估计，而是使用简单的注意力机制在鸟瞰网格中选择和融合相机和激光雷达特征。 作者表明，作者的模型可以根据激光雷达功能的可用性来 ………………………………