如何量化AI搜索质量:Omni基于BEIR与MS MARCO的搜索基准评测实践

原创2026-10-26 13:28:391,825 阅读

如何量化AI搜索质量:Omni基于BEIR与MS MARCO的搜索基准评测实践

Omni 是一款开源、可自托管的企业级 AI Agent,它通过 benchmarks/ 模块内置了一套完整的搜索基准评测系统:使用 BEIR 与 MS MARCO 等标准信息检索数据集,对全文、语义、混合三种搜索模式进行量化评测,输出 nDCG、MRR、MAP 等排序指标与 p50/p95/p99 延迟,帮你客观回答“我的 AI 搜索到底好不好用”这个问题。

Omni 搜索基准评测界面截图,展示 Omni 的搜索与对话功能

为什么需要量化 AI 搜索质量 📊

很多团队接入 RAG 或企业搜索后,都会遇到同一个困境:搜索效果好不好,全凭感觉。用户说“搜不准”,但说不清差在哪;换了 embedding 模型后,也说不清到底是变好还是变差。

Omni 的评测模块(benchmarks/Cargo.toml,crate 名为 omni-benchmarks)解决的就是这个问题:

  • 用公开标准数据集打分:BEIR、MS MARCO 是信息检索(IR)领域的通用基准,评测结果可与业界方案横向对比;
  • 同时度量相关性与性能:不仅看“搜得准不准”,还看“搜得快不快”(延迟与 QPS);
  • 全链路实测:真实启动 Omni 的 indexer、searcher 服务,把数据集文档灌入索引后再发查询,测的是整条搜索链路,而不是单点算法。

评测指标速览:这些数字是什么意思

Omni 的指标实现位于 benchmarks/src/evaluator/metrics.rs,覆盖五类常用指标:

指标 全称 直观含义
nDCG@k Normalized Discounted Cumulative Gain 排序质量的核心指标:最相关的文档是否排在前面,取值 0~1,越大越好
MRR Mean Reciprocal Rank 第一条相关结果出现在第几位(排第 1 位得 1 分,第 3 位得 1/3 分)
MAP@k Mean Average Precision 前 k 条结果中相关文档的平均精确率,适合多相关文档场景
Precision@k 精确率 前 k 条结果里有多少比例是相关的
Recall@k 召回率 所有相关文档中,前 k 条结果找回了多少

以 nDCG 为例,Omni 按标准公式计算 DCG 后再除以理想值 IDCG(metrics.rs 中的 calculate_ndcg):排在前面的高相关文档贡献更大,靠后的结果被对数衰减。

除了相关度,延迟指标同样重要。LatencyStats 会统计 p50/p95/p99 延迟、标准差与吞吐量(QPS),方便你判断“混合搜索虽然更准,但延迟是否可接受”。

评测数据集:BEIR 与 MS MARCO 怎么选 📚

BEIR:12 个子集的异质检索基准

BEIR 是业界公认的“跨领域”检索基准。Omni 内置了全部 12 个子集(见 benchmarks/src/datasets/beir.rs):

  • 快速迭代:nfcorpus、fiqa、scifact —— 体量小,几分钟出结果;
  • 深度评测:nq、hotpotqa —— 更接近真实问答场景,查询更有难度;
  • 其余:trec-covid、scidocs、climate-fever、fever、dbpedia-entity、webis-touche2020、quora。

默认配置 benchmarks/config/default.toml 中 selected_dataset = "fiqa",适合新手第一次跑通全流程。

MS MARCO:大规模段落排序

MS MARCO 是微软的大规模段落检索数据集,只有二值相关性标注(相关/不相关),因此更侧重 MRR、nDCG 这类对首位结果敏感的指标。配置见 default.toml 的 msmarco 段,含 queries、corpus、qrels 三个分量的下载地址。

Natural Questions:从原始数据自建基准

如果你需要评测更接近 Google 搜索的长尾问题,Omni 还支持把 Google 原始 NQ 数据(约 1GB)预处理成基准数据,工具入口是 benchmarks/src/prepare_nq.rs:

cargo run --release -p omni-benchmarks -- prepare-nq \
  --input-dir benchmarks/data/v1.0 \
  --output-dir benchmarks/data/nq_benchmark \
  --max-documents 100000

三步跑通基准评测:从安装到报告 🚀

第一步:启动评测环境

评测使用独立的 omni_benchmark 数据库,不会污染你的生产数据。启动命令(来自 benchmarks/README.md):

docker compose -f docker/docker-compose.yml -f docker/docker-compose.benchmark.yml \
  --env-file .env up -d

或者直接使用封装好的脚本 benchmarks/scripts/run_benchmarks.sh,它会自动检查 PostgreSQL/Redis/searcher 服务健康状态、创建评测库并执行迁移。

第二步:下载数据集并运行评测

# 下载 BEIR 数据集
cargo run --release -p omni-benchmarks -- setup --dataset beir

# 对混合搜索(hybrid)跑一遍 BEIR 基准
cargo run --release -p omni-benchmarks -- run \
  --config benchmarks/config/default.toml \
  --dataset beir \
  --search-mode hybrid

# 三种模式全测,并调优预热与并发
cargo run --release -p omni-benchmarks -- run \
  --config benchmarks/config/default.toml \
  --dataset beir \
  --search-mode all \
  --warmup 100 \
  --concurrency 10

三种搜索模式的含义:

  • fulltext:纯全文检索(BM25),词面匹配强,语义弱;
  • semantic:纯向量语义检索,理解改写与同义表达,但可能漏掉专有名词;
  • hybrid:全文 + 语义融合,通常是企业搜索的默认选择。

评测流程本身是“先建索引、再发查询”:index_documents_before_search = true(default.toml)时,会先把数据集文档以流式方式灌入 Omni 索引并等待完成,然后用 OmniSearchClient 按查询逐条请求 searcher 的 /search 接口,每条查询都记录耗时与结果列表。

第三步:生成 HTML/CSV 报告

cargo run --release -p omni-benchmarks -- report \
  --results-dir benchmarks/results \
  --format html

原始结果保存在 benchmarks/results/ 下的 JSON 文件(命名格式 {dataset}_{mode}_{时间戳}_results.json),报告模块 benchmarks/src/reporter/mod.rs 可将其聚合为 HTML 或 CSV,方便贴进周报或导入 Excel 对比。

关键配置项与调参建议 ⚙️

所有可调参数集中在 benchmarks/config/default.toml:

配置项 默认值 作用
max_results_per_query 100 每条查询最多取回多少文档参与评测
concurrent_queries 5 并发查询数(测延迟时可调到 10)
rate_limit_delay_ms 100 查询间隔(测极限吞吐时设为 0)
[datasets.beir] selected_dataset fiqa 指定 BEIR 中实际评测的子集
[evaluation] cutoff_values [1,5,10,20] 指标计算的截断位(即 @k 的 k)
[hyperparameter_optimization] 关闭 可自动扫描全文/语义权重,以 ndcg@10 为目标优化混合搜索配比

一个实用的做法:

  1. 先用 nfcorpus + --search-mode all 快速出三模式对比基线;
  2. 再用 nq 或 hotpotqa 做正式评测;
  3. 打开 [hyperparameter_optimization](enable_optimization = true),让它在 fts_weight_range 与 semantic_weight_range 区间内按 weight_step = 0.1 网格搜索,找出你数据场景下最优的混合权重。

把评测接入 CI:让回归问题无所遁形 🔁

Omni 提供了 CI 参考模板 benchmarks/scripts/ci_benchmark.yml,思路值得借鉴:

  • 每日定时全量跑(凌晨 2 点 UTC),并保留基线用于回归比对;
  • PR 触发快速模式:只有改动 services/searcher/、services/indexer/ 等搜索相关路径时才跑,且只测单个数据集/模式,几分钟完成;
  • 结果打包为 artifact 保留 30 天,基线保留 90 天,方便追溯指标漂移。

对普通用户来说,即使不接 CI,这套“改完代码手动跑一次小基准”的习惯,也能避免大量“凭感觉调参”的返工。

常见问题 FAQ

Q1:第一次运行很慢,正常吗? 正常。首次运行包含数据集下载、索引构建、embedding 生成,属于一次性成本;后续运行会复用 benchmarks/data/ 缓存,并可通过 reset_db_on_start = false 跳过重建索引加速迭代。

Q2:nDCG 和 MRR 冲突时看哪个? 看场景:面向“用户第一眼”的体验(如聊天中的上下文召回)优先看 MRR / nDCG@1;面向“多文档聚合分析”优先看 MAP@10 / Recall@10。Omni 同时输出多截断位(1/5/10/20),就是为了覆盖这两类场景。

Q3:评测会拖慢我的生产环境吗? 不会。评测默认使用独立的 omni_benchmark 数据库(use_separate_db = true),且 run_benchmarks.sh 会在评测前单独建库并执行迁移,与主数据完全隔离。

Q4:只想测自己的企业内部数据怎么办? 配置里预留了 <a href="https://link.gitcode.com/i/f80590642cce760a0e3de095f4323491" target="_blank">datasets.custom]([default.toml),指向 benchmarks/data/custom 目录,可放置自定义 query/文档/相关性标注数据,用于贴近真实业务语料的评测。

小结

  • Omni 的 benchmarks/ 模块让“AI 搜索质量”从主观感受变成可复现的数字:相关性(nDCG/MRR/MAP/P/R)+ 性能(p50/p95/p99/QPS)双维度;
  • 数据集上覆盖 BEIR 12 个子集、MS MARCO 与自建 NQ 基准,从快速冒烟到深度评测都有对应选项;
  • 全流程(下载 → 建索引 → 评测 → 报告 → CI 回归)均有现成脚本,新手照着 benchmarks/README.md 三步命令即可跑通;
  • 结合混合搜索权重自动调优与 CI 每日回归,可以形成“改动必量化”的工程习惯,这是保障企业级 AI 搜索长期可靠的关键。
登录后查看全文
omni