ECCV 2024 | 首次基于深度聚类的多模态融合，双向结构对齐的融合网络新SOTA

主要观点总结

本文介绍了来自上海交通大学智能机器人与机器视觉（IRMV）实验室的研究团队在点云配准、多模态融合和视觉/激光雷达里程计等领域的研究成果。他们提出了一种具有双向结构对齐功能的局部到全局融合网络（DVLO），旨在解决多模态里程计中的问题。该论文链接为https://arxiv.org/pdf/2403.18274，代码链接为https://github.com/IRMVLab/DVLO。DVLO的融合模块由两部分组成：局部融合和全局融合。局部融合通过图像到点的结构对齐，全局融合通过点到图像的结构对齐。论文作者在KITTI里程计数据集上进行了大量实验，证明了DVLO的方法优于其他深度激光雷达、视觉和视觉激光雷达融合里程计方法。此外，DVLO的融合策略还应用于其他多模态任务，如场景流估计。

关键观点总结

关键观点1: 研究背景

多模态里程计利用不同传感器的数据融合，具有鲁棒性。但以往的方法存在数据结构错位的问题。

关键观点2: 研究团队与成果

上海交通大学IRMV实验室的研究团队提出了一种新型局部到全局融合网络DVLO，具有双向结构对齐功能。

关键观点3: DVLO的特点

DVLO融合模块包括局部融合和全局融合，通过图像到点和点（伪图像）到图像的结构对齐实现细粒度融合。

关键观点4: 实验验证

在KITTI里程计数据集上的实验表明，DVLO的方法在大多数序列上优于其他深度学习方法。

关键观点5: 应用拓展

DVLO的融合策略还应用于场景流估计等其他多模态任务，表现出良好的性能。

免责声明