RAG工程如何评测？

文章预览

技术总结专栏 作者：喜欢卷卷的瓦力 本篇主要讲RAG工程的评测方法。 本篇属于RAG系列，上一篇整理了RAG的基础，没看过的小伙伴也可以参考~本篇来继续介绍RAG工程如何评测。下面是一个快捷目录。 一、RAG评估方法 二、RAG 的关键指标和能力 三、RAG的评估框架  一、RAG评估方法 有两种方法评估RAG： 独立评估 和 端到端 1. 独立评估 独立评估就是对检索模块和生成模型分布评估。 1）检索模块 评估RAG检索模块性能的指标主要用于衡量系统（如搜索引擎、推荐系统或信息检索系统），即根据查询评估有效性。 具体指标包括：命中率 (Hit Rate)、平均排名倒数 (MRR)、归一化折扣累积增益 (NDCG)、精确度 (Precision) 等。这块跟推荐系统的评价指标相同。 命中率 (Hit Rate) 检索结果中用户实际检索的实体词或者关键词所占的比例。 平均排名倒数 (MRR) 是用来衡量 ………………………………