文章预览
1. 背景 检索增强生成(Retrieval Augmented Generation, RAG)作为当前解决大语言模型幻觉、知识更新、领域知识问题的有效方法,其热度不断攀升。RAG的本质是从语料库中提取相关文本,并与其原问题一并送入LLM进行处理。 虽然检索增强策略的优势显而易见,但实施过受到检索模型、所选语料库、大语言模型本身或提示词构建等众多因素的共同影响。因此,对检索增强系统的自动化评估显得尤为关键。 在实际操作中,RAG系统通常通过在某个参考语料库上测量困惑度(perplexity)来评估语言建模任务。然而,此类评估并不是能一直准确预测系统在实际应用中的表现。 因此,作者提出了RAGAS( R etrieval A ugmented G eneration As sessment),一个自动化评估检索增强生成系统的框架。 2. RAGAS评估策略 定义: 在标准的检索增强生成(RAG)场景中 系统面对一个问题q时
………………………………