OpenAI Lilian Weng万字长文解读LLM幻觉：从理解到克服

文章预览

Lilian Weng 出品，必是精品。 人会有幻觉，大型语言模型也会有幻觉。近日，OpenAI 安全系统团队负责人 Lilian Weng 更新了博客，介绍了近年来在理解、检测和克服 LLM 幻觉方面的诸多研究成果。 Lilian Weng，中文名翁丽莲，是 OpenAI 安全系统团队负责人。她 2018 年加入 OpenAI，参与了 GPT-4 项目的预训练、强化学习 & 对齐、模型安全等方面的工作。她的博客深入、细致，具有前瞻性，被很多 AI 研究者视为重要的参考资料（其他博客见文末扩展阅读）。 大型语言模型的幻觉（Hallucination）通常是指该模型生成不真实、虚构、不一致或无意义的内容。现在，「幻觉」这个术语的含义已有所扩大，常被用于泛指模型出现错误的情况。本文所谈到的「幻觉」是指其狭义含义： 模型的输出是虚构编造的，并没有基于所提供的上下文或世界知识 。 幻觉有两种类型： ………………………………