Nature期刊发文利用语义熵检测大模型幻觉：兼看近期的5个大模型RAG工作进展

文章预览

今天是2024年6月24日，星期一，北京，天气晴。 牛津大学在Nature期刊发表了  《Detecting hallucinations in large language models using semantic entropy》(https://www.nature.com/articles/s41586-024-07421-0)  的研究论文，核心议题是研究大型语言模型（LLMs）在生成文本时出现的“幻觉”现象，即模型生成不合理或与给定信息不符的内容。 这个思路很有趣，提出了基于熵的不确定性估计器，如下图所示，提供了一个关于语义熵和虚构检测的概览，说明了如何使用语义熵作为一种工具来评估和提高LLM生成文本的可靠性。这个图分为两个主要部分， 分别展示了如何使用语义熵来检测较短答案中的虚构情况，以及如何在更长的段落中应用该方法 。 a. 语义熵和虚构检测的概述 这部分提供了一个流程图，解释了如何使用语义熵来检测和量化LLM生成答案的不确定性。流程包括以下步骤： ………………………………