如何量化AI搜索质量:Omni基于BEIR与MS MARCO的搜索基准评测实践
如何量化AI搜索质量:Omni基于BEIR与MS MARCO的搜索基准评测实践
Omni 是一款开源、可自托管的企业级 AI Agent,它通过 benchmarks/ 模块内置了一套完整的搜索基准评测系统:使用 BEIR 与 MS MARCO 等标准信息检索数据集,对全文、语义、混合三种搜索模式进行量化评测,输出 nDCG、MRR、MAP 等排序指标与 p50/p95/p99 延迟,帮你客观回答“我的 AI 搜索到底好不好用”这个问题。
为什么需要量化 AI 搜索质量 📊
很多团队接入 RAG 或企业搜索后,都会遇到同一个困境:搜索效果好不好,全凭感觉。用户说“搜不准”,但说不清差在哪;换了 embedding 模型后,也说不清到底是变好还是变差。
Omni 的评测模块(benchmarks/Cargo.toml,crate 名为 omni-benchmarks)解决的就是这个问题:
- 用公开标准数据集打分:BEIR、MS MARCO 是信息检索(IR)领域的通用基准,评测结果可与业界方案横向对比;
- 同时度量相关性与性能:不仅看“搜得准不准”,还看“搜得快不快”(延迟与 QPS);
- 全链路实测:真实启动 Omni 的 indexer、searcher 服务,把数据集文档灌入索引后再发查询,测的是整条搜索链路,而不是单点算法。
评测指标速览:这些数字是什么意思
Omni 的指标实现位于 benchmarks/src/evaluator/metrics.rs,覆盖五类常用指标:
| 指标 | 全称 | 直观含义 |
|---|---|---|
| nDCG@k | Normalized Discounted Cumulative Gain | 排序质量的核心指标:最相关的文档是否排在前面,取值 0~1,越大越好 |
| MRR | Mean Reciprocal Rank | 第一条相关结果出现在第几位(排第 1 位得 1 分,第 3 位得 1/3 分) |
| MAP@k | Mean Average Precision | 前 k 条结果中相关文档的平均精确率,适合多相关文档场景 |
| Precision@k | 精确率 | 前 k 条结果里有多少比例是相关的 |
| Recall@k | 召回率 | 所有相关文档中,前 k 条结果找回了多少 |
以 nDCG 为例,Omni 按标准公式计算 DCG 后再除以理想值 IDCG(metrics.rs 中的 calculate_ndcg):排在前面的高相关文档贡献更大,靠后的结果被对数衰减。
除了相关度,延迟指标同样重要。LatencyStats 会统计 p50/p95/p99 延迟、标准差与吞吐量(QPS),方便你判断“混合搜索虽然更准,但延迟是否可接受”。
评测数据集:BEIR 与 MS MARCO 怎么选 📚
BEIR:12 个子集的异质检索基准
BEIR 是业界公认的“跨领域”检索基准。Omni 内置了全部 12 个子集(见 benchmarks/src/datasets/beir.rs):
- 快速迭代:
nfcorpus、fiqa、scifact—— 体量小,几分钟出结果; - 深度评测:
nq、hotpotqa—— 更接近真实问答场景,查询更有难度; - 其余:
trec-covid、scidocs、climate-fever、fever、dbpedia-entity、webis-touche2020、quora。
默认配置 benchmarks/config/default.toml 中 selected_dataset = "fiqa",适合新手第一次跑通全流程。
MS MARCO:大规模段落排序
MS MARCO 是微软的大规模段落检索数据集,只有二值相关性标注(相关/不相关),因此更侧重 MRR、nDCG 这类对首位结果敏感的指标。配置见 default.toml 的 msmarco 段,含 queries、corpus、qrels 三个分量的下载地址。
Natural Questions:从原始数据自建基准
如果你需要评测更接近 Google 搜索的长尾问题,Omni 还支持把 Google 原始 NQ 数据(约 1GB)预处理成基准数据,工具入口是 benchmarks/src/prepare_nq.rs:
cargo run --release -p omni-benchmarks -- prepare-nq \
--input-dir benchmarks/data/v1.0 \
--output-dir benchmarks/data/nq_benchmark \
--max-documents 100000
三步跑通基准评测:从安装到报告 🚀
第一步:启动评测环境
评测使用独立的 omni_benchmark 数据库,不会污染你的生产数据。启动命令(来自 benchmarks/README.md):
docker compose -f docker/docker-compose.yml -f docker/docker-compose.benchmark.yml \
--env-file .env up -d
或者直接使用封装好的脚本 benchmarks/scripts/run_benchmarks.sh,它会自动检查 PostgreSQL/Redis/searcher 服务健康状态、创建评测库并执行迁移。
第二步:下载数据集并运行评测
# 下载 BEIR 数据集
cargo run --release -p omni-benchmarks -- setup --dataset beir
# 对混合搜索(hybrid)跑一遍 BEIR 基准
cargo run --release -p omni-benchmarks -- run \
--config benchmarks/config/default.toml \
--dataset beir \
--search-mode hybrid
# 三种模式全测,并调优预热与并发
cargo run --release -p omni-benchmarks -- run \
--config benchmarks/config/default.toml \
--dataset beir \
--search-mode all \
--warmup 100 \
--concurrency 10
三种搜索模式的含义:
- fulltext:纯全文检索(BM25),词面匹配强,语义弱;
- semantic:纯向量语义检索,理解改写与同义表达,但可能漏掉专有名词;
- hybrid:全文 + 语义融合,通常是企业搜索的默认选择。
评测流程本身是“先建索引、再发查询”:index_documents_before_search = true(default.toml)时,会先把数据集文档以流式方式灌入 Omni 索引并等待完成,然后用 OmniSearchClient 按查询逐条请求 searcher 的 /search 接口,每条查询都记录耗时与结果列表。
第三步:生成 HTML/CSV 报告
cargo run --release -p omni-benchmarks -- report \
--results-dir benchmarks/results \
--format html
原始结果保存在 benchmarks/results/ 下的 JSON 文件(命名格式 {dataset}_{mode}_{时间戳}_results.json),报告模块 benchmarks/src/reporter/mod.rs 可将其聚合为 HTML 或 CSV,方便贴进周报或导入 Excel 对比。
关键配置项与调参建议 ⚙️
所有可调参数集中在 benchmarks/config/default.toml:
| 配置项 | 默认值 | 作用 |
|---|---|---|
max_results_per_query |
100 | 每条查询最多取回多少文档参与评测 |
concurrent_queries |
5 | 并发查询数(测延迟时可调到 10) |
rate_limit_delay_ms |
100 | 查询间隔(测极限吞吐时设为 0) |
[datasets.beir] selected_dataset |
fiqa | 指定 BEIR 中实际评测的子集 |
[evaluation] cutoff_values |
[1,5,10,20] | 指标计算的截断位(即 @k 的 k) |
[hyperparameter_optimization] |
关闭 | 可自动扫描全文/语义权重,以 ndcg@10 为目标优化混合搜索配比 |
一个实用的做法:
- 先用
nfcorpus+--search-mode all快速出三模式对比基线; - 再用
nq或hotpotqa做正式评测; - 打开
[hyperparameter_optimization](enable_optimization = true),让它在fts_weight_range与semantic_weight_range区间内按weight_step = 0.1网格搜索,找出你数据场景下最优的混合权重。
把评测接入 CI:让回归问题无所遁形 🔁
Omni 提供了 CI 参考模板 benchmarks/scripts/ci_benchmark.yml,思路值得借鉴:
- 每日定时全量跑(凌晨 2 点 UTC),并保留基线用于回归比对;
- PR 触发快速模式:只有改动
services/searcher/、services/indexer/等搜索相关路径时才跑,且只测单个数据集/模式,几分钟完成; - 结果打包为 artifact 保留 30 天,基线保留 90 天,方便追溯指标漂移。
对普通用户来说,即使不接 CI,这套“改完代码手动跑一次小基准”的习惯,也能避免大量“凭感觉调参”的返工。
常见问题 FAQ
Q1:第一次运行很慢,正常吗?
正常。首次运行包含数据集下载、索引构建、embedding 生成,属于一次性成本;后续运行会复用 benchmarks/data/ 缓存,并可通过 reset_db_on_start = false 跳过重建索引加速迭代。
Q2:nDCG 和 MRR 冲突时看哪个? 看场景:面向“用户第一眼”的体验(如聊天中的上下文召回)优先看 MRR / nDCG@1;面向“多文档聚合分析”优先看 MAP@10 / Recall@10。Omni 同时输出多截断位(1/5/10/20),就是为了覆盖这两类场景。
Q3:评测会拖慢我的生产环境吗?
不会。评测默认使用独立的 omni_benchmark 数据库(use_separate_db = true),且 run_benchmarks.sh 会在评测前单独建库并执行迁移,与主数据完全隔离。
Q4:只想测自己的企业内部数据怎么办?
配置里预留了 <a href="https://link.gitcode.com/i/f80590642cce760a0e3de095f4323491" target="_blank">datasets.custom]([default.toml),指向 benchmarks/data/custom 目录,可放置自定义 query/文档/相关性标注数据,用于贴近真实业务语料的评测。
小结
- Omni 的 benchmarks/ 模块让“AI 搜索质量”从主观感受变成可复现的数字:相关性(nDCG/MRR/MAP/P/R)+ 性能(p50/p95/p99/QPS)双维度;
- 数据集上覆盖 BEIR 12 个子集、MS MARCO 与自建 NQ 基准,从快速冒烟到深度评测都有对应选项;
- 全流程(下载 → 建索引 → 评测 → 报告 → CI 回归)均有现成脚本,新手照着 benchmarks/README.md 三步命令即可跑通;
- 结合混合搜索权重自动调优与 CI 每日回归,可以形成“改动必量化”的工程习惯,这是保障企业级 AI 搜索长期可靠的关键。
