超越UniAD！FusionAD：预测与规划任务的多模态融合方案

文章预览

大家好，很开心受邀来到自动驾驶之心平台分享我们的最新工作FusionAD，我们这项工作的作者来自Udeer.ai、西湖大学和和菜鸟网络！ 建立一个具有精确和鲁棒性能的多模态多任务神经网络是自动驾驶感知任务的标准。然而，利用来自多个传感器的此类数据来联合优化预测和规划任务在很大程度上仍未得到探索。我们提出了FusionAD，这是第一个融合来自相机和激光雷达这两个最关键传感器的信息的统一框架（在感知之外）。FusionAD首先构建了一个基于transformer的多模态融合网络，以有效地产生融合特征。与基于相机的端到端方法UniAD相比，我们建立了一个融合辅助的模态感知预测和状态感知规划模块，称为FMSPnP。在常用的基准nuScenes数据集上进行了广泛的实验，FusionAD在检测和跟踪等感知任务上实现了最先进的性能，平均超过基线15%，占用预测准确率超 ………………………………