主要观点总结
本文介绍了来自上海交通大学智能机器人与机器视觉（IRMV）实验室的研究团队在点云配准、多模态融合和视觉/激光雷达里程计等领域的研究成果。他们提出了一种具有双向结构对齐功能的局部到全局融合网络（DVLO），旨在解决多模态里程计中的问题。该论文链接为https://arxiv.org/pdf/2403.18274，代码链接为https://github.com/IRMVLab/DVLO。DVLO的融合模块由两部分组成：局部融合和全局融合。局部融合通过图像到点的结构对齐，全局融合通过点到图像的结构对齐。论文作者在KITTI里程计数据集上进行了大量实验，证明了DVLO的方法优于其他深度激光雷达、视觉和视觉激光雷达融合里程计方法。此外，DVLO的融合策略还应用于其他多模态任务，如场景流估计。
关键观点总结
关键观点1: 研究背景
多模态里程计利用不同传感器的数据融合，具有鲁棒性。但以往的方法存在数据结构错位的问题。
关键观点2: 研究团队与成果
上海交通大学IRMV实验室的研究团队提出了一种新型局部到全局融合网络DVLO，具有双向结构对齐功能。
关键观点3: DVLO的特点
DVLO融合模块包括局部融合和全局融合，通过图像到点和点（伪图像）到图像的结构对齐实现细粒度融合。
关键观点4: 实验验证
在KITTI里程计数据集上的实验表明，DVLO的方法在大多数序列上优于其他深度学习方法。
关键观点5: 应用拓展
DVLO的融合策略还应用于场景流估计等其他多模态任务，表现出良好的性能。
文章预览
©作者 | 刘久铭 单位 | 上海交大IRMV实验室 研究方向 | 点云配准、多模态融合 视觉 / 激光雷达里程计是计算机视觉和机器人学领域中的一项基本任务，用于估计两幅连续图像或点云之间的相对位姿变换。它被广泛应用于自动驾驶、SLAM、控制导航等领域。最近，多模态里程计越来越受到关注，因为它可以利用不同模态的互补信息，并对非对称传感器退化具有很强的鲁棒性。 以往基于学习的方法大多采用图 1 a) 所示的特征级融合策略，无法捕捉细粒度像素到点的对应关系。最近，一些网络设计了点到图像的投影和局部特征聚合，如图 1 b) 所示，但其性能仍然受到稀疏激光雷达点和密集相机像素之间内在数据结构错位的限制。 为了解决这些问题，来自上海交通大学、加州伯克利大学 的研究团队提出了一种具有双向结构对齐功能的新型局部到全局融
………………………………
