TPAMI 2024 | 多模态图像融合的通用空间-频率学习框架

文章预览

论文信息 题目：A General Spatial-Frequency Learning Framework for Multimodal Image Fusion 多模态图像融合的通用空间-频率学习框架 作者：Man Zhou; Jie Huang; Keyu Yan; Danfeng Hong; Xiuping Jia; Jocelyn Chanussot; Chongyi Li 源码链接：https://github.com/manman1995/Awaresome-pansharpening 论文创新点 1 空间-频率信息集成网络（SFINet） ：首次提出在空间域和频域内同时处理多模态图像融合问题，通过结合局部空间信息和全局频率信息来增强模型的学习能力。 2 双域交互机制 ：提出了一种新颖的伪连拍特征融合机制，通过在帧间交换信息生成伪连拍特征，实现了不同模态间的灵活信息交换和互补表示学习。 3 边缘增强特征对齐模块（EBFA） ：开发了一种基于可变形卷积的边缘增强特征对齐技术，用于隐式地学习帧间对齐，提高了对齐精度并减少了由错位引起的误差。 4 改进的SFINet++版本 ：在原 ………………………………