LLM Zoomcamp 检索评估指标详解:从 P@k、Recall 到 MRR、NDCG,以及它们在 RAG 搜索评估中的落地实现
LLM Zoomcamp 检索评估指标详解:从 P@k、Recall 到 MRR、NDCG,以及它们在 RAG 搜索评估中的落地实现
这篇指南系统梳理 LLM Zoomcamp 2025 版第 03 模块「RAG and LLM Evaluation」中的检索评估指标体系:覆盖原文档列出的全部 10 个排序/相关性指标(P@k、Recall、MAP、NDCG、MRR、F1、AUC-ROC、MR、Hit Rate、ERR)的定义与公式,并结合仓库中真实的评估数据集(948 篇 FAQ 文档、4627 条问答对)与配套 notebook,展示 Hit Rate 与 MRR 如何从"相关文档布尔矩阵"一步步计算出来,以及 Elasticsearch 与 minsearch 两套检索方案在相同指标下的实测对比结果。
1. 背景:为什么 RAG 系统需要检索评估指标
在 LLM Zoomcamp 2025 的课程结构中,第 03 模块专注评估(见 cohorts/2025/03-evaluation/README.md)。其教学路径是:先讲清楚"为什么需要评估"与"评估指标有哪些"(本文主题),再进入 ground truth 数据生成(3.2 节,ground-truth-data.ipynb),最后才动手评估搜索结果(3.3 节,evaluate-text.ipynb)。
所有指标都建立在同一套"离线评估"数据范式上:
- 文档集合:documents-with-ids.json 包含 948 篇 FAQ 记录,每条含
text(答案正文)、section、question、course、id五个字段,覆盖 data-engineering-zoomcamp(435 篇)、machine-learning-zoomcamp(375 篇)、mlops-zoomcamp(138 篇)三门课程; - 真值数据:ground-truth-data.csv 共 4627 行,三列结构为
question,course,document,其中document是该问题"应该命中的文档 id"。它由 GPT-4o 基于每篇 FAQ 记录反向生成 5 个问题(prompt 要求"用尽可能少与原记录重合的词"),再按doc_id -> (question, course, doc_id)三元组落盘。
理解这套数据结构是理解全部指标的前提:每条查询有唯一(或少量)"应命中文档",评估就是把检索器返回的 top-k 结果与该真值对齐打分。
2. 十大检索评估指标的定义与公式
以下 10 个指标完整继承自 evaluation-metrics.md,并按"相关性质量类 / 排序质量类 / 概率模型类"三类重新组织,便于选型。
2.1 Precision at k(P@k)
- 含义:衡量 top k 结果中相关文档的数量占比。
- 公式:
P@k = (top k 结果中相关文档数) / k - 特点:直接反映"前 k 条有多准"。在 RAG 场景中 k 通常等于送入 LLM 上下文的结果数(本仓库 notebook 中为 5)。但 P@k 忽略了相关文档的位置,且当召回数少于 k 时会低估检索器。
2.2 Recall(召回率)
- 含义:衡量从全部相关文档中实际检索到多少。
- 公式:
Recall = (检索到的相关文档数) / (全部相关文档总数) - 特点:与 Precision 互补。P@k 看"查得准不准",Recall 看"查得全不全"。在本课程的 ground truth 结构中,每条查询只有一个目标文档,因此"top-5 内是否命中"本质上就是该查询维度的 Recall@5。
2.3 Mean Average Precision(MAP,平均精度均值)
- 含义:先计算每条查询的 Average Precision(AP),再对所有查询取平均。
- 公式:
MAP = (1 / |Q|) * Σ Average Precision(q),q ∈ Q - 特点:同时考虑了"命中数量"与"命中位置",是 P@k 与排序质量的折中。适合每类查询相关文档数量不完全一致的语料。
2.4 NDCG(Normalized Discounted Cumulative Gain,归一化折损累计增益)
- 含义:按文档在结果列表中的位置评估其"有用度"——排名越靠后,增益被折扣得越多。
- 公式:
DCG = Σ ((2^rel_i - 1) / log2(i + 1)),i 从 1 到 p;IDCG为理想排序下的 DCG(文档按相关性完美排序);NDCG = DCG / IDCG。
- 特点:NDCG 支持多级相关性标注(rel_i 可以是 0/1/2/3),因此是十项指标中唯一原生支持 graded relevance 的指标。本课程的 ground truth 是二值命中,但当你把 LLM-as-judge 的打分(如 0/1/2)用于检索结果时,NDCG 就能直接复用。
2.5 MRR(Mean Reciprocal Rank,平均倒数排名)
- 含义:只看第一个相关文档的排名位置。
- 公式:
MRR = (1 / |Q|) * Σ (1 / rank_i),i 从 1 到 |Q|。若某查询完全没有相关结果,该项计 0。 - 特点:对"用户看到第一条结果是否满意"非常敏感,是 RAG 检索评估中最常用、最直观的排序指标之一。本仓库的 evaluate-text.ipynb 与作业(cohorts/2025/03-evaluation/homework.md)均以 MRR 为核心判据。
2.6 F1 Score(F1 分数)
- 含义:Precision 与 Recall 的调和平均。
- 公式:
F1 = 2 * (Precision * Recall) / (Precision + Recall) - 特点:当"只准不全"和"只全不准"两种偏科都需要惩罚时使用。在二值命中、单一目标文档的设置下,F1 退化为对 P@k 与 Recall@k 的综合折中。
2.7 AUC-ROC(接收者操作特征曲线下面积)
- 含义:度量模型区分"相关"与"不相关"文档的能力。AUC 是 ROC 曲线(TPR 对 FPR 作图)下方的面积。
- 特点:AUC 是阈值无关的分类指标——它假设检索器输出的是可连续比较的相关性分数,考察的是"相关文档的分数排在无关文档之前的概率"。对于只返回固定 top-k 列表、没有连续打分的检索器,通常改用 MAP 或 NDCG;若你实现了混合检索打分(如 BM25 分数 + 向量相似度融合),AUC-ROC 才有直接应用空间。
2.8 Mean Rank(MR,平均排名)
- 含义:所有查询中"第一个相关文档排名"的算术平均。
- 特点:与 MRR 关注同一件事,但不做倒数变换,因此对极端大排名(如某查询目标文档排在第 100 位)更敏感。原文档特别注明:MR 是"越低越好"的指标,与其余所有"越高越好"的指标方向相反,做对比实验时不要弄反。
2.9 Hit Rate(HR)/ Recall at k
- 含义:top k 结果中至少命中一个相关文档的查询占比。
- 公式:
HR@k = (top k 中至少含一个相关文档的查询数) / |Q| - 特点:这是本课程实操中用得最多的指标(notebook 中的
hit_rate()函数)。它回答"这个检索器有多大比例的问题能给出有用上下文",对 RAG 端到端质量影响最直接——只要 top-5 里有一条对的,LLM 就有机会给出有依据的回答。
2.10 ERR(Expected Reciprocal Rank,期望倒数排名)
- 含义:基于级联用户行为模型(cascading model):假设用户从位置 1 开始逐条浏览,每到一个位置,以概率
r_i找到满意文档并停止,以概率1 - r_i继续往下看。ERR 度量用户最终找到相关文档的期望效用。 - 公式:
ERR = Σ (1 / i) * Π_{j=1..i-1} (1 - r_j) * r_i,其中r_i是位置 i 上文档的相关性概率。 - 特点:与 MRR 相比,ERR 把"相关性"视为概率而非 0/1,因此能利用相关性分数做更细粒度的建模;但实现和解释复杂度也更高,工业实践中 MRR/NDCG 使用更普遍。
2.11 指标速查表
| 指标 | 是否感知位置 | 是否支持多级相关性 | 方向 | 典型场景 |
|---|---|---|---|---|
| P@k | 否 | 否 | 越高越好 | 快速看 top-k 准度 |
| Recall | 否 | 否 | 越高越好 | 看查得全不全 |
| MAP | 是 | 是 | 越高越好 | 多相关文档语料 |
| NDCG | 是 | 是 | 越高越好 | 分级相关性标注 |
| MRR | 是(仅首位) | 否 | 越高越好 | "第一条是否满意" |
| F1 | 否 | 否 | 越高越好 | Precision/Recall 折中 |
| AUC-ROC | 否 | 是(连续分数) | 越高越好 | 有连续相关性打分的检索器 |
| MR | 是(仅首位) | 否 | 越低越好 | MRR 的线性版本 |
| HR@k | 否 | 否 | 越高越好 | RAG 端到端可用性 |
| ERR | 是 | 概率化 | 越高越好 | 级联浏览行为建模 |
3. 指标如何落地:相关文档布尔矩阵
在 evaluate-text.ipynb 中,上述指标的落地都归结为一个统一的中间数据结构——相关文档布尔矩阵 relevance_total。其构建逻辑是:
import pandas as pd
df_ground_truth = pd.read_csv('ground-truth-data.csv')
ground_truth = df_ground_truth.to_dict(orient='records')
relevance_total = []
for q in tqdm(ground_truth):
doc_id = q['document']
results = elastic_search(query=q['question'], course=q['course'])
relevance = [d['id'] == doc_id for d in results]
relevance_total.append(relevance)
每一行 relevance 是该查询 top-5 结果里"第 i 条是否为应命中文档"的布尔序列(长度 5)。有了这个矩阵,Hit Rate 与 MRR 的实现就非常直白(以下代码摘自 notebook,与 homework.md 中给出的版本一致):
def hit_rate(relevance_total):
cnt = 0
for line in relevance_total:
if True in line:
cnt = cnt + 1
return cnt / len(relevance_total)
def mrr(relevance_total):
total_score = 0.0
for line in relevance_total:
for rank in range(len(line)):
if line[rank] == True:
total_score = total_score + 1 / (rank + 1)
return total_score / len(relevance_total)
两个实现细节值得注意:
- MRR 只累加第一个命中:内层循环一旦在
rank处命中就加上1/(rank+1)。注意这里对"一行多个命中"的写法会把后续命中也累加,但在单目标文档的 ground truth 下,一行至多一个True,因此无副作用; - 未命中查询的贡献:Hit Rate 中未命中行什么都不加(等价 0),MRR 中未命中行贡献 0 分——与第 2.5 节"若某查询完全没有相关结果,该项计 0"的定义完全对应。
notebook 还用了一组 12 条的 example 手工数据验证实现:6 条命中(其中 5 条在位置 1、1 条在位置 3),期望 hit_rate = 6/12 = 0.5 量级、mrr 按 1/rank 累加,实测输出 (0.5833…, 0.5277…),与手工推导一致。这是把指标代码用于生产评估前的标准"单测"做法。
4. 同一指标下的检索器对比:Elasticsearch vs minsearch
评估指标最大的价值不是"给一个数字",而是在同一把尺子下比较不同检索配置。notebook 用同一份 ground truth(4627 条查询)评测了两套实现:
4.1 Elasticsearch 文本检索
from elasticsearch import Elasticsearch
es_client = Elasticsearch('http://localhost:9200')
index_settings = {
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0
},
"mappings": {
"properties": {
"text": {"type": "text"},
"section": {"type": "text"},
"question": {"type": "text"},
"course": {"type": "keyword"},
"id": {"type": "keyword"},
}
}
}
index_name = "course-questions"
es_client.indices.delete(index=index_name, ignore_unavailable=True)
es_client.indices.create(index=index_name, body=index_settings)
检索时使用 multi_match,字段加权 question^3,并用 term 过滤把结果限定在同一门课程内:
def elastic_search(query, course):
search_query = {
"size": 5,
"query": {
"bool": {
"must": {
"multi_match": {
"query": query,
"fields": ["question^3", "text", "section"],
"type": "best_fields"
}
},
"filter": {
"term": {"course": course}
}
}
}
}
response = es_client.search(index=index_name, body=search_query)
return [hit['_source'] for hit in response['hits']['hits']]
4.2 minsearch 文本检索
minsearch 是课程在 2025 版主线上采用的本地轻量检索库(对应 homework.md 要求 pip install -U minsearch,版本至少 0.0.4):
import minsearch
index = minsearch.Index(
text_fields=["question", "text", "section"],
keyword_fields=["course", "id"]
)
index.fit(documents)
def minsearch_search(query, course):
boost = {'question': 3.0, 'section': 0.5}
return index.search(
query=query,
filter_dict={'course': course},
boost_dict=boost,
num_results=5
)
可以看到两边在做同一件事:question 字段三倍加权、按 course 过滤、取 top-5,只是 minsearch 把 ES 的 question^3 语法换成了 boost_dict,并额外给 section 加了 0.5 的弱权重。
4.3 实测结果对比
把两个检索函数套进同一个 evaluate() 入口:
def evaluate(ground_truth, search_function):
relevance_total = []
for q in tqdm(ground_truth):
doc_id = q['document']
results = search_function(q)
relevance = [d['id'] == doc_id for d in results]
relevance_total.append(relevance)
return {
'hit_rate': hit_rate(relevance_total),
'mrr': mrr(relevance_total),
}
evaluate(ground_truth, lambda q: elastic_search(q['question'], q['course']))
# {'hit_rate': 0.7395720769397017, 'mrr': 0.6032418413658963}
evaluate(ground_truth, lambda q: minsearch_search(q['question'], q['course']))
# {'hit_rate': 0.7722066133563864, 'mrr': 0.661454506159499}
| 检索器 | Hit Rate@5 | MRR |
|---|---|---|
Elasticsearch(question^3) |
0.7396 | 0.6032 |
minsearch(question 3.0 / section 0.5) |
0.7722 | 0.6615 |
从源码结构看,minsearch 的优势主要来自两点:一是 question 权重相同但 section 显式给了 0.5 权重(ES 的 best_fields 下 section 参与的是原始分),二是 minsearch 的默认文本处理(分词、归一化)更适合这种短 FAQ 语料。这正是"指标用于调参"的典型示范:调 boost 权重、换检索库,用 HR 与 MRR 双指标验证方向。
注意作业(homework.md)中也提醒:不同版本库的结果可能与标准答案不完全一致,选最接近的即可——评估脚本必须锁版本,否则指标漂移会掩盖真实改进。
5. 指标的选择建议(对应本仓库场景)
结合第 03 模块的完整评估链路(检索评估 → RAG 端到端评估),给出在本仓库数据形态(单目标文档、top-5、二值相关性)下的选型建议:
- 日常迭代首选 HR@5 + MRR 双指标:HR@5 保证"大多数问题能拿到可用上下文",MRR 保证"正确文档尽量靠前"。两者一个看覆盖、一个看排序,缺一不可——只优化 HR 可能把正确答案推到第 5 位,LLM 利用率下降;只优化 MRR 可能牺牲长尾查询的命中。
- 引入 LLM-as-judge 分级打分后切换到 NDCG:README 中 3.8 节的 LLM-as-judge 会对答案给出分级评价。若把该打分映射到检索文档(相关=2/部分相关=1/不相关=0),NDCG 比二值的 HR/MRR 更能反映改进。
- 需要连续分数比较检索器时用 AUC-ROC:例如混合检索(BM25 + 向量余弦)融合打分后,用 AUC-ROC 判断"融合是否让相关文档整体排到了无关文档前面"。
- ERR 与 MAP 属于进阶选项:ERR 需要为每个位置估计相关性概率,工程成本高;MAP 在"每查询单目标文档"的数据下与 MRR 信息高度重叠,本课程未单独实现,理解定义即可。
6. 延伸:从检索指标到 RAG 端到端评估
第 03 模块的完整闭环是"检索指标 + 答案指标"两层:
- 检索层(本文主题):用 search_evaluation 目录的三份数据(documents-with-ids.json、ground-truth-data.csv、results.bin)评估"查得准不准、全不全";
- 答案层:用 rag_evaluation 目录的离线评估 notebook(offline-rag-evaluation.ipynb)评估"答得好不好",核心是 A→Q→A 流程:拿 FAQ 原答案 A 生成问题 Q,用 RAG 系统产出答案 A',再用余弦相似度(results-gpt4o-cosine.csv 等文件)或 LLM-as-judge(evaluations-aqa.csv、evaluations-qa.csv)给 A' 打分。
两层指标各司其职:检索层指标坏了,答案层指标必然变差;但检索层指标满分,答案层仍可能因为 prompt、模型选择而失分。调试 RAG 系统时应先看 HR/MRR 定位检索问题,再用答案层指标定位生成问题。
7. 小结
- 本文覆盖 evaluation-metrics.md 的全部 10 个指标:P@k、Recall、MAP、NDCG、MRR、F1、AUC-ROC、MR、HR@k、ERR,并补充了各自适用前提与"方向"(MR 越低越好,其余越高越好);
- 指标的工程落地统一收敛为"相关文档布尔矩阵 + 逐行打分 + 全量平均"三步,evaluate-text.ipynb 给出了完整可运行实现;
- 在 4627 条 ground truth 查询上,Elasticsearch 与 minsearch 的实测对比(HR 0.7396 vs 0.7722;MRR 0.6032 vs 0.6615)演示了"同一把尺子比较配置"的评估方法论;
- 动手练习见 cohorts/2025/03-evaluation/homework.md,其中 Q1–Q4 分别用 minsearch 文本检索、minsearch 向量检索、Qdrant 向量检索套用本节指标作答,Q5–Q6 则把"相似度指标"延伸到 RAG 答案评估(余弦相似度、ROUGE)。