ICLR 2025 | 多模态大模型总"胡说八道"？「定位-修正」实现生成过程的幻觉抑制

文章预览

多模态大模型（MLLMs）在生成高质量内容方面表现出色，但其幻觉现象仍严重制约了实际应用的可靠性。本文通过机制分析发现：当模型输出虚假物体时，其早期中间层往往已正确识别物体的不存在性，表明语言模态中的知识先验在解码中逐步压制了视觉证据，导致语义偏移。基于这一发现，本文提出动态校正解码方法  DeCo（Dynamic Correction Decoding） ，通过跨层定位和动态注入早期视觉表征，在不改动模型结构的前提下，有效抑制幻觉生成。DeCo具备模型无关性、动态适应性与策略兼容性，为提升MLLMs输出可靠性提供了高效可行的解决方案。 论文题目：  MLLM Can See? Dynamic Correction Decoding for Hallucination Mitigation 论文链接： https://www.arxiv.org/abs/2410.11779 代码链接： https://github.com/zjunlp/Deco 一、引言 多模态大模型（MLLMs）的幻觉现象已成为制约其可靠应用的 ………………………………