ECCV 2024 | 首次基于深度聚类的多模态融合

文章预览

仅作学术分享，不代表本公众号立场，侵权联系删除 转载于：机器之心 视觉 / 激光雷达里程计是计算机视觉和机器人学领域中的一项基本任务，用于估计两幅连续图像或点云之间的相对位姿变换。它被广泛应用于自动驾驶、SLAM、控制导航等领域。最近，多模态里程计越来越受到关注，因为它可以利用不同模态的互补信息，并对非对称传感器退化具有很强的鲁棒性。 以往基于学习的方法大多采用图 1 a) 所示的特征级融合策略，无法捕捉细粒度像素到点的对应关系。最近，一些网络设计了点到图像的投影和局部特征聚合，如图 1 b) 所示，但其性能仍然受到稀疏激光雷达点和密集相机像素之间内在数据结构错位的限制。 为了解决这些问题，来自上海交通大学、加州伯克利大学 的研究团队 提出了一种具有双向结构对齐功能的新型局部到全局融合网络 (D ………………………………