ICLR 2025 | 多模态大模型总"胡说八道"？「定位-修正」实现生成过程的幻觉抑制

文章预览

论文题目： MLLM Can See? Dynamic Correction Decoding for Hallucination Mitigation 本文作者： 王晨曦（浙江大学）、陈想（浙江大学）、张宁豫（浙江大学）、田博中（浙江大学）、徐浩铭（浙江大学）、邓淑敏（新加坡国立大学）、陈华钧（浙江大学） 发表会议： ICLR 2025 论文链接： https://www.arxiv.org/abs/2410.11779 代码链接： https://github.com/zjunlp/Deco 欢迎转载，转载请注明 出处 一、引言 多模态大模型（MLLMs）的幻觉现象已成为制约其可靠应用的关键瓶颈，然而其内在机制尚未得到充分解释。本工作通过机理分析发现了一个重要现象： 当MLLMs在最终输出层生成图像中不存在的虚假物体时，其早期中间层实际上能够正确判断该物体的存在性 。这揭示出语言模态的强知识先验在解码过程中逐渐压制了视觉证据，最终导致语义漂移的深层机制。 基于此发现，我们提出了 ………………………………