如何搭建两阶段搜索管线?从向量召回到Rerank精排的5个关键步骤

原创2026-10-17 13:31:481,677 阅读

如何搭建两阶段搜索管线?从向量召回到Rerank精排的5个关键步骤

在语义搜索系统中,「向量召回 + Rerank 精排」是公认效果与速度兼顾的两阶段搜索管线。本文带你使用网易有道开源的 Rerank 排序模型(XLM-RoBERTa 序列分类结构、ONNX 格式),从零搭建一条完整管线:理解架构 → 获取模型文件 → 部署打分 → 接入你的搜索引擎,只需 5 个关键步骤。

什么是两阶段搜索管线?为什么需要 Rerank?

🔍 很多新手直接用向量数据库做语义搜索,却发现召回了却不准。原因在于两种检索器天生定位不同:

阶段 代表技术 速度 精度 作用
第一阶段:召回 向量召回(Dense Retrieval)、BM25 极快,毫秒级 一般 从百万级文档中粗筛出候选集
第二阶段:精排 Rerank 交叉编码器 较慢 高 对候选集逐条精算相关性,重排顺序

向量召回把 query 和文档分别编码成向量,靠向量相似度快速圈定范围;而 Rerank 模型(Cross-Encoder)会把 query 和文档拼在一起整体输入,直接输出一个相关性分数——理解更深、排序更准,但计算量大,只对前几十条候选做精排才是性价比最高的做法。

这条「粗筛 + 精算」的组合,就是两阶段搜索管线的核心思想。

认识 Rerank 模型仓库:5 个文件各司其职

克隆仓库后,你会看到一套完整的推理文件,每个文件都有明确职责:

git clone https://gitcode.com/netease-youdao/Rerank
文件 作用
rerank.onnx 核心模型权重,ONNX 格式,可脱离 PyTorch 独立推理
sentencepiece.bpe.model BPE 分词模型,负责把中英文文本切成 token
config.json 模型结构配置:XLM-RoBERTa,12 层、隐藏维度 768、词表 250005
tokenizer_config.json 分词器配置:特殊符号 <s> <pad> </s> 及最大长度等
special_tokens_map.json 特殊 token 与 token ID 的映射表
version.txt 模型版本号 v0.0.1,方便升级时对比

两个关键信息值得注意:

  • config.json 中 architectures 为 XLMRobertaForSequenceClassification,且 id2label 只有一个输出标签——这意味着模型对每一对「query + 文档」输出单一相关性分数,是典型的 Rerank 打分器;
  • max_position_embeddings 为 514,说明单条输入最长约 512 个 token,精排超长文档时记得截断或分段。

搭建两阶段搜索管线的 5 个关键步骤

步骤一:先跑通向量召回,确定精排候选集大小

在引入 Rerank 之前,先保证第一阶段可用:把语料切块 → 用向量模型编码 → 存入向量数据库。上线时先用纯召回 Top 100 观察相关性基线,这个基线是后续衡量精排提升效果的标尺。

💡 经验值:精排候选集取召回结果的 Top 50 ~ Top 100 即可。候选越多,精排耗时线性增长,但精度边际收益递减。

步骤二:获取 Rerank 模型文件

执行上面的 git clone 命令即可拿到全部文件。由于 rerank.onnx 等大文件通过 Git LFS 管理(见 .gitattributes),首次克隆可能需要稍长等待;若提示 LFS 对象缺失,可用 git lfs pull 补齐。

步骤三:用 ONNX Runtime 加载 Rerank 模型

ONNX 格式的最大优势是部署轻——不需要 GPU 和 PyTorch 依赖,CPU 上也能稳定运行,非常适合精排这种高吞吐小模型:

import onnxruntime as ort
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(".")   # 读取 sentencepiece.bpe.model 等配置
session = ort.InferenceSession("rerank.onnx")     # 加载 Rerank 模型权重

分词器会自动使用仓库中的 sentencepiece.bpe.model 完成中英文切分,<s>、</s> 等特殊符号由 special_tokens_map.json 统一约定。

步骤四:构造 query-doc 对并批量计算分数

Rerank 的输入是拼好的句子对:query + </s> + 文档内容。把召回的候选逐条与用户查询拼接、分词后送入模型,输出的那个标量就是相关性分数:

pairs = [f"{query}</s>{doc}" for doc in candidates]
inputs = tokenizer(pairs, padding=True, truncation=True, max_length=512)
outputs = session.run(None, {k: v["input_ids"] for k, v in inputs.items()})

⚡ 两点提效技巧:

  1. 批量推理:一次塞入整个候选集(batch),而不是逐条调用,CPU 上吞吐量可提升数倍;
  2. 控制长度:max_length=512 截断,避免个别超长文档拖慢整批推理。

步骤五:按分数重排,返回 Top-K 完成闭环

最后一步把精排结果接回搜索链路:

用户查询 → 向量召回 Top 100 → Rerank 打分 → 按分数降序 → 返回 Top 10

你会发现与纯向量召回相比:真正相关的文档显著前移,语义相近但答非所问的候选被压到后面——这正是两阶段搜索管线「召回保全、精排保质」的分工体现。

常见坑与最佳实践

  • ❌ 忘记拼 </s> 分隔符:query 与文档之间必须用 </s>(即 sep_token)分隔,否则分数会明显失真;
  • ❌ 候选集无上限:对百万级结果直接精排会导致延迟爆炸,务必先用向量召回收窄范围;
  • ✅ 保留打分日志:记录每次 query 的候选与分数,方便后续对比 version.txt 升级后的模型效果;
  • ✅ 注意精度类型:模型以 float32 训练与导出(见 config.json 中 torch_dtype),推理时也保持 float32 输入,避免不必要的精度损失。

总结

搭建两阶段搜索管线的路径其实很清晰:

  1. 用向量召回快速圈定候选集;
  2. 克隆 Rerank 仓库获取 ONNX 模型与分词文件;
  3. ONNX Runtime 轻量部署;
  4. 批量计算 query-doc 相关性分数;
  5. 按分数重排返回 Top-K。

完成这 5 步,你的搜索系统就拥有了「又快又准」的完整链路。向量召回负责广度,Rerank 精排负责精度,两者配合,是语义搜索落地的经典范式。

登录后查看全文
Rerank