Carrel RAG 检索评测方法论:hit@5、MRR@12 与跨文档覆盖如何精准衡量检索质量

原创2026-11-04 11:24:511,657 阅读

Carrel RAG 检索评测方法论:hit@5、MRR@12 与跨文档覆盖如何精准衡量检索质量

Carrel 是一个主打「本体增强生成(Ontology-Augmented Generation)」的知识库检索项目,其内置的 RAG 检索评测体系用 hit@5、MRR@12、跨文档覆盖 三类核心指标,把"检索到底找没找到证据、排得够不够靠前、证据链是否完整"变成了可量化、可对比的数字。本文带你从指标定义讲到实际执行,看懂 Carrel 是怎么系统性地给 RAG 检索"打分"的。

一、为什么 RAG 需要独立的检索评测

很多团队评估 RAG 只看"模型回答得对不对",但回答质量受生成端影响太大。Carrel 的做法是把评测下沉到检索层:用原生评分器对照冻结的金标标注直接计算命中指标,不经过生成式回答或 LLM 裁判。

这样做的好处是——

  • 🔍 指标稳定:同题集、同参数,结果可复现、可 diff;
  • 🧩 归因清晰:分数掉了,能定位是"没找到"还是"找到了但排太后";
  • 📊 可对比:换模型、改重排策略、开/关图谱,同一套指标横向比较。

0.3.0 的完整实测见 docs/evaluations/retrieval-evaluations-0.3.0.zh-CN.md,指标计算逻辑集中在 app/kb_search/evalset.py。

二、核心指标解读:hit@5、MRR@12 与 doc_hit@5

Carrel 的评测器对每道题依次检查"金标答案出现在返回结果的第几位",再汇总为三个层次的指标(源码中默认统计 k = 3、5、12 三档,见 evalset.py 的 HIT_KS = (3, 5, 12)):

指标 回答的问题 计算方式
hit@k 正确切片是否出现在前 k 条结果里? 金标切片 rank ≤ k 即记命中,汇总为命中比例
MRR@12 正确切片平均排多靠前? 每道题取首个正确切片排名倒数的均值,前 12 条未命中记 0
doc_hit@k 找没找对"文档"? 金标文档进入前 k 条结果即命中,是文档层的定位指标

三者是递进关系:doc_hit 看的是"进没进正确的文档范围",hit 看的是"精确切片是否靠前",MRR 则对排名位置更敏感。

Carrel 0.3.0 实测中的一组数据就很典型:完整路径的文档命中为 78/78(100%),而片段级 hit@5 为 69/78(88.46%)、MRR 为 0.7327。这说明"找到了正确的文档"并不等于"精确切片排进了前五"——两个指标必须分开看。

还有一个细节值得注意:如果题目只标注了文档级金标(gold_docs)而没有切片级金标(gold_point_ids),评测器会按文档口径计算 hit/MRR 并打上标记;重新解析导致切片 point_id 失效的题目会被标为 stale_gold,排除在切片级指标之外,避免口径混用抬高分数。

三、跨文档覆盖:图谱价值的专属度量

hit@5 和 MRR 只回答"直接证据排在哪"。而 Carrel 的图谱还要干另一件事:把散落在多份文档中的实体、关系和历史事实关联起来。这部分用跨文档覆盖指标单独度量:

检查项 含义
expect / expect_all 返回证据中至少出现 / 全部出现指定字符串(大小写与空格不敏感)
min_docs 命中结果至少来自几份不同文档
所需文档覆盖 检查返回的 sources 及有效事实证据是否覆盖题目指定的全部文档

0.3.0 评测中,10 道跨文档题开启图谱后:目标字符串全部出现的题数由 4 道增至 10 道;文本重排下"全部指定文档齐全"的题数由 5 道增至 8 道。两种口径的差值本身就是一条信息——字符串齐全 ≠ 来源齐全,它反映了图谱关联信息"进入可追溯证据"的程度。

Carrel 在评测报告中明确提出:关联知识召回应作为独立评价维度,与直接证据定位、跨文档完整性、Agent 回答增益一起构成四个评价层次。

四、其他实用检查项:负例题与预期答案

除了排名类指标,题集还能声明三类"非排名"检查(见 app/kb_search/evalset.py):

  • expect / expect_all:验证返回证据里是否包含关键内容(如合同年份"2024""2025");
  • min_docs:验证答案是否真的跨了多份文档;
  • negative:知识库根本答不了的题,只有当服务明确返回 no_relevant_content 才算通过——低分本身不算拒绝,这避免了"乱答也能得分"。

五、一键执行:kb search eval 完整流程

准备好题集后,在 app 目录下运行即可,命令参数定义见 app/kb_pipeline/cli.py:

cd app
.venv/bin/kb search eval --set ../runtime/eval/my-set.json \
  --out ../runtime/eval/result.json --auto

常用参数:

参数 作用
--set 题集 JSON 路径(建议放 runtime/eval/,不提交 Git)
--out 结果输出路径;该文件已存在时自动作为上次结果做 diff
--compare 指定用于对比的历史结果文件
--auto 忽略题目自带的 kbs,让服务自动路由(同时测路由)
--top-k 每题取回的结果数,默认 12

执行后终端会打印一张 now / prev / delta 三列的指标表,本次结果随后覆盖 --out 文件。每次跑完都自动与上次 diff,是把它当回归测试用的关键设计。题集格式与完整字段说明见 docs/retrieval.zh-CN.md 的「检索评测」一节。

六、题集准备:make-set 半自动生成

没有题集?kb search make-set 可以从知识库中随机抽样正文切块,调用该库配置的抽取模型,为每个切块生成一道问题 + 一句原文摘录作为答案,金标即该切块的 point_id 与文档路径:

.venv/bin/kb search make-set --kb kb_001 --n 15 \
  --out ../runtime/eval/draft.json

生成的题目自带 q、expect、gold_point_ids、gold_docs、kbs、tag 字段。注意抽样时每份文档最多出 2 题,防止大文档霸占题集;审核后再冻结使用。手写题目时,point_id 和 rel_path 可直接从检索结果 sources 里复制。

七、真实案例:0.3.0 评测报告说明了什么

0.3.0 评测采用「图谱开/关 × 文本/双路重排」的 2×2 设计,99 道题中 78 道有切片级标注。几个有代表性的结论:

  • 📈 双路重排对图片证据收益最大:图片类题目 hit@5 从 50.00%(4/8)升至 87.50%(7/8),MRR 从 0.5208 升至 0.8750;
  • ⚖️ 直接片段排序存在取舍:文本重排下 hit@5 最高(91.03%),MRR 最高的是无图路径(0.7942),多模态收益尚未转化为整体排名优势;
  • ⚡ 并行执行保持质量不变:24 组串/并行配对命中与 MRR 完全一致,中位耗时下降约 4.85%。

报告对 5 道严格退步题逐一核对原文,发现其中 2 道其实返回了等价证据——这提醒我们:唯一片段标注会把合理的替代证据记为失败,读数时要结合来源复核分类理解。

八、如何正确解读小样本波动

78 道排名题中,1 道命中就对应约 1.28 个百分点。Carrel 的处理方式很严谨:对同题配对差值做 10,000 次 bootstrap,给出 95% 置信区间。例如"开启图谱后 MRR +0.0125"的区间是 [-0.0150, 0.0427]——区间跨过 0,就不能断言整体优劣。

这对所有做 RAG 评测的人都是提醒:小样本上的分数变化要连同置信区间一起看,而"图片类新增 3 道命中、跨文档来源覆盖增加"这类具体观察才是可以直接采信的结果。

九、总结:指标速查表

想知道的事 看哪个指标
证据找到了吗、靠前吗? hit@5 / hit@12
平均排名位置如何? MRR@12
进对文档范围了吗? doc_hit@5
跨文档问题证据齐全吗? expect_all、min_docs、所需文档覆盖
不会答的问题敢拒绝吗? negative 判定
这次改动是收益还是回退? eval 输出的 now/prev/delta 表 + bootstrap 区间

Carrel 的检索评测把 RAG 质量拆成了"定位 → 排名 → 覆盖 → 拒绝 → 对比"一条完整的检查链,配合 kb search eval 与 make-set 两个命令就能跑起来。想要更深入地了解各指标口径与完整实测数据,建议阅读 docs/evaluations/retrieval-evaluations-0.3.0.zh-CN.md,日常检索行为与 API 说明见 docs/retrieval.zh-CN.md,命令清单见 docs/operations.zh-CN.md。

登录后查看全文
carrel