如何利用transformer有效关联激光雷达-毫米波雷达-视觉特征？

文章预览

笔者个人理解 自动驾驶的基础任务之一是三维目标检测，而现在许多方法都是基于多传感器融合的方法实现的。那为什么要进行多传感器融合?无论是激光雷达和相机融合，又或者是毫米波雷达和相机融合，其最主要的目的就是利用点云和图像之间的互补联系，从而提高目标检测的准确度。随着Transformer架构在计算机视觉领域的不断应用，基于注意力机制的方法提高了多传感器之间融合的精度。分享的两篇论文便是基于此架构，提出了新颖的融合方式，以更大程度地利用各自模态的有用信息，实现更好的融合。 TransFusion： 主要贡献 激光雷达和相机是自动驾驶中两种重要的三维目标检测传感器，但是在传感器融合上，主要面临着图像条件差导致检测精度较低的问题。基于点的融合方法是将激光雷达和相机通过硬关联（hard association）进行融合，会导致 ………………………………