使用重排序（Re-Ranking）来改善LLM RAG检索

文章预览

基于大型语言模型（LLM）的聊天机器人可以通过检索增强生成（RAG）技术来获取外部知识来增强大语言模型的能力。 这些外部知识可以减少错误答案（幻觉）并且还可以让模型获取到训练数据中没有包含的信息。 在RAG中，我们向LLM提供信息，比如PDF文档或维基百科文章，作为我们提示的额外上下文。 基本的RAG流水线： 使用编码器模型和向量数据库高效搜索相关的文档块。 然而，RAG聊天机器人遵循数据科学的老原则： 垃圾进，垃圾出 。如果文档检索失败，LLM模型就没有机会提供好的答案。 改进基础RAG流水线的方法是使用 重排序器（re-ranking） 。 重排序器将用户的问题和所有最初检索到的文档作为输入，并基于这些文档与问题的匹配程度重新排序这些文档。 下图显示了使用双编码器模型进行初始候选检索和交叉编码器模型进行重排序的高级两步 ………………………………