TPAMI 2024 | MURF：相互增强的多模态图像配准与融合

文章预览

题目：MURF: Mutually Reinforcing Multi-Modal Image Registration and Fusion MURF：相互增强的多模态图像配准与融合 作者：Han Xu; Jiteng Yuan; Jiayi Ma 源码链接：https://github.com/hanna-xu/MURF 摘要 现有的图像融合方法通常限制于对齐的源图像，并且当图像未对齐时必须“容忍”视差。同时，不同模态之间的大差异对多模态图像配准提出了重大挑战。本研究提出了一种称为MURF的新方法，首次将图像配准和融合相互加强，而不是作为单独的问题来处理。MURF利用三个模块：共享信息提取模块（SIEM）、多尺度粗配准模块（MCRM）和精细配准与融合模块（F2M）。配准是以从粗到精的方式进行的。在粗配准过程中，SIEM首先将多模态图像转换为单模态共享信息以消除模态差异。然后，MCRM逐步纠正全局刚性视差。随后，在F2M中统一执行精细配准以修复局部非刚性偏移和图像融合。融合图 ………………………………