内部先验知识与RAG冲突了怎么办？对LLM如何平衡内外部知识的一些思考

文章预览

©PaperWeekly 原创 · 作者 |  刘寰硕 单位 |  NUS，华为诺亚方舟实验室 研究方向 |  LLM，RAG，推荐系统 LLM 内部先验知识与 RAG 冲突了怎么办？ 前段时间在华为诺亚完成了一篇有关 Adaptive RAG 的工作，现在在做对齐架空世界知识与现实世界知识，尤其是智能游戏 NPC 的工作。分享一下有关对 LLM 如何平衡内外部知识的一些思考以及我们在这方面做出的几个探索性、分析性和总结性工作。 写的比较意识流，欢迎指正。 背景（RAG） 1.1 什么是 RAG Retrieval-Augmented Generation（RAG）：RAG 通常指的是在 LLM 的生成过程中通过检索的方式为 LLM 的生成引入外部知识的方法。 检索的源可以是搜索引擎，也可以是 off-line 的数据库（比如企业、政府内部的机密数据）。 结合外部知识的方式可以是通过某种 Encoder 将外部知识 Encode 成一个向量与 LLM 的中间层或者输出层结合， ………………………………