ACL 2024 | UNIHD：统一的多模态幻觉检测框架

文章预览

尽管MLLMs在处理复杂任务时表现出色，它们仍然容易产生一种被称为“幻觉”的现象。幻觉不仅妨碍了MLLMs的实际部署，还可能导致错误信息的传播，影响其可靠性和安全性。 为了应对这一挑战，本文提出了一个工具增强的统一多模态幻觉检测框架——UNIHD。该框架通过一系列辅助工具来验证幻觉的发生，并提出了一个新的多模态基准测试——MHaluBench，用于评估幻觉检测方法的有效性。通过详尽的评估和全面的分析，展示了UNIHD的有效性，并提供了针对不同幻觉类别应用特定工具的见解。 论文题目： Unified Hallucination Detection for Multimodal Large Language Models  论文链接： https://arxiv.org/abs/2402.03190 代码链接： https://github.com/zjunlp/EasyDetect 一、引言 在人工智能领域，多模态大语言模型（MLLMs）已经取得了突破性进展。它们展现出了在多种任务中接近人类认知 ………………………………