大型视觉语言模型中幻觉现象的综述

文章预览

大型视觉语言模型（LVLMs）通过在大型语言模型（LLMs）的基础上整合视觉模态，增强了用户交互并丰富了用户体验。它展现了强大的信息处理和生成能力。然而，幻觉现象的存在限制了LVLMs在各个领域的潜力和实际效用。尽管已有大量工作致力于幻觉的减缓与纠正，但针对这一问题的综述性研究却较为少见。在本次综述中，我们首先介绍了LVLMs和幻觉现象的背景。随后，介绍了LVLMs的结构以及幻觉生成的主要原因。接着，我们总结了近期在幻觉纠正和减缓方面的相关工作。此外，我们还从判断性和生成性角度介绍了LVLMs幻觉评估的可用基准。最后，我们提出了一些未来的研究方向，以增强LVLMs的可靠性和实用性。 近年来，大型语言模型（LLMs）在自然语言处理（NLP）领域取得了优异的成绩。基于Transformer的LLMs通过在大规模语料库上学习语言模式和知识 ………………………………