主要观点总结
北京大学的研究人员开发了一种新型多模态框架FakeShield，能够检测图像伪造、定位篡改区域，并提供基于像素和图像语义错误的合理解释。该框架解决了现有图像篡改检测与定位方法存在的问题，提高了图像伪造检测的可解释性和泛化能力。
关键观点总结
关键观点1: 研究背景
随着生成式人工智能（AIGC）的发展，图像编辑与合成技术变得愈加成熟与普及，这为图像内容创作带来了便捷的同时，也显著增加了篡改检测的难度。
关键观点2: 现有问题
现有的图像篡改检测与定位（IFDL）算法存在黑箱模型的问题，仅输出真实性概率，缺乏详细的检测解释，导致用户对结果的信任度降低。此外，现有算法通常针对特定篡改技术，缺乏应对多样化篡改手段的能力，降低了实用性。
关键观点3: 研究创新
为了解决这些问题，北京大学与华南理工大学的研究团队提出了可解释的图像伪造检测与定位（e-IFDL）任务，并设计了一个新颖的多模态伪造检测定位框架：FakeShield。该框架结合了多模态大语言模型的视觉和语言理解能力，不仅实现了检测图像真实性和生成篡改区域掩膜，还提供了详细解释，进而增强了检测定位过程的透明性与泛化性。
关键观点4: 主要贡献
FakeShield的主要贡献包括：提出了首个多模态大模型框架用于图像篡改检测与定位，解决了现有方法的黑箱问题；利用GPT-4o丰富现有IFDL数据集，构建了多模态篡改描述数据集（MMTD-Set）；设计了基于领域标签引导的解释性篡改检测模块（DTE-FDM）和多模态伪造定位模块（MFLM），在单一模型中检测多种篡改类型。
关键观点5: 实验结果
实验结果表明，FakeShield在检测、解释和定位性能上均显著优于现有的IFDL方法和多模态大语言模型。在Photoshop、DeepFake和AIGC编辑等多种篡改场景下的实验均验证了FakeShield的有效性和优越性。
文章预览
新智元报道 编辑：LRST 【新智元导读】 北京大学的研究人员开发了一种新型多模态框架FakeShield，能够检测图像伪造、定位篡改区域，并提供基于像素和图像语义错误的合理解释，可以提高图像伪造检测的可解释性和泛化能力。 随着生成式人工智能（AIGC）的迅猛发展，图像编辑与合成技术变得愈加成熟与普及。这一趋势为图像内容创作带来了便捷的同时，也显著增加了篡改检测的难度。 用户能够通过Photoshop、DeepFake、AIGC等工具对图像进行高质量编辑，且往往不留任何痕迹。在此背景下，如何准确检测并定位篡改区域，成为了学术界与工业界的关注重点。 尽管现有的图像篡改检测与定位（IFDL）算法在网络结构和训练策略上取得了一定进展，但仍存在几个主要问题： 1. 大多数方法采用黑箱模型，仅输出真实性概率，缺乏详细的检测解释，导
………………………………
