北航x百度：大模型RAG遇到幻觉内容怎么办？

文章预览

大模型用于文本生成对话表现不错，但是一旦应用到需要密集专业知识的场景中时，就没有办法准确回复。好像一个没来听课的学霸考生，不可能什么知识都背下来（知识注入型预训练成本太大），因此这种情况下一般依赖他室友（检索器）给他准备开卷考试资料。但是这位室友同学经常喜欢问ChatGPT，把模型答案写到给学霸的小抄里面，有一天他帮学霸准备一个经典的面试题答案： BERT为什么不适合生成任务？ BERT（Bidirectional Encoder Representations  from  Transformers）是一种预训练语言表示模型，它在自然语言处理（NLP）领域取得了巨大的成功，特别是在理解语言的任务上，如文本分类、问答、命名实体识别等。然而，BERT在生成任务上的表现并不理想，原因主要包括以下几点： 1.  **单向解码限制**：BERT模型是基于Transformer架构，它在编码器（Encoder） ………………………………