RAGAS：实现检索增强生成的自动化评估

文章预览

1. 背景 检索增强生成（Retrieval Augmented Generation， RAG）作为当前解决大语言模型幻觉、知识更新、领域知识问题的有效方法，其热度不断攀升。RAG的本质是从语料库中提取相关文本，并与其原问题一并送入LLM进行处理。 虽然检索增强策略的优势显而易见，但实施过受到检索模型、所选语料库、大语言模型本身或提示词构建等众多因素的共同影响。因此，对检索增强系统的自动化评估显得尤为关键。 在实际操作中，RAG系统通常通过在某个参考语料库上测量困惑度（perplexity）来评估语言建模任务。然而，此类评估并不是能一直准确预测系统在实际应用中的表现。 因此，作者提出了RAGAS（ R etrieval A ugmented G eneration As sessment），一个自动化评估检索增强生成系统的框架。 2. RAGAS评估策略 定义： 在标准的检索增强生成（RAG）场景中 系统面对一个问题q时 ………………………………