ICML 2024 || COFT: 减少大模型对长文本的知识幻觉

文章预览

1. 基本信息和摘要 论文题目 Coarse-to-Fine Highlighting: Reducing Knowledge Hallucination in Large Language Models Paper: https://openreview.net/pdf?id=JCG0KTPVYy 作者 Qitan Lv, Jie Wang, Hanzhu Chen, Bin Li, Yongdong Zhang, Feng Wu 研究单位 中国科学技术大学 拟解决问题 大语言模型对 长文本的幻觉 问题。 摘要 本文探讨了在大型语言模型（LLMs）中减少知识幻觉问题的方法。知识幻觉是指模型生成看似合理但与事实不符的信息。检索增强型语言模型（RALM）通过引入最新的知识来减少幻觉，但现有方法在处理 长文本 时可能会加剧幻觉问题。为解决这一挑战，作者提出了一种新颖的 Coarse-to-Fine Highlighting（COFT） 方法，该方法通过在不同粒度级别上关注关键文本，避免了在长文本中迷失。COFT由 三个组成部分 构成：recaller、scorer和selector。 Recaller 利用知识图谱提取给定上下文中的潜在关键实体 ………………………………