如何搭建两阶段搜索管线?从向量召回到Rerank精排的5个关键步骤
如何搭建两阶段搜索管线?从向量召回到Rerank精排的5个关键步骤
在语义搜索系统中,「向量召回 + Rerank 精排」是公认效果与速度兼顾的两阶段搜索管线。本文带你使用网易有道开源的 Rerank 排序模型(XLM-RoBERTa 序列分类结构、ONNX 格式),从零搭建一条完整管线:理解架构 → 获取模型文件 → 部署打分 → 接入你的搜索引擎,只需 5 个关键步骤。
什么是两阶段搜索管线?为什么需要 Rerank?
🔍 很多新手直接用向量数据库做语义搜索,却发现召回了却不准。原因在于两种检索器天生定位不同:
| 阶段 | 代表技术 | 速度 | 精度 | 作用 |
|---|---|---|---|---|
| 第一阶段:召回 | 向量召回(Dense Retrieval)、BM25 | 极快,毫秒级 | 一般 | 从百万级文档中粗筛出候选集 |
| 第二阶段:精排 | Rerank 交叉编码器 | 较慢 | 高 | 对候选集逐条精算相关性,重排顺序 |
向量召回把 query 和文档分别编码成向量,靠向量相似度快速圈定范围;而 Rerank 模型(Cross-Encoder)会把 query 和文档拼在一起整体输入,直接输出一个相关性分数——理解更深、排序更准,但计算量大,只对前几十条候选做精排才是性价比最高的做法。
这条「粗筛 + 精算」的组合,就是两阶段搜索管线的核心思想。
认识 Rerank 模型仓库:5 个文件各司其职
克隆仓库后,你会看到一套完整的推理文件,每个文件都有明确职责:
git clone https://gitcode.com/netease-youdao/Rerank
| 文件 | 作用 |
|---|---|
| rerank.onnx | 核心模型权重,ONNX 格式,可脱离 PyTorch 独立推理 |
| sentencepiece.bpe.model | BPE 分词模型,负责把中英文文本切成 token |
| config.json | 模型结构配置:XLM-RoBERTa,12 层、隐藏维度 768、词表 250005 |
| tokenizer_config.json | 分词器配置:特殊符号 <s> <pad> </s> 及最大长度等 |
| special_tokens_map.json | 特殊 token 与 token ID 的映射表 |
| version.txt | 模型版本号 v0.0.1,方便升级时对比 |
两个关键信息值得注意:
- config.json 中
architectures为XLMRobertaForSequenceClassification,且id2label只有一个输出标签——这意味着模型对每一对「query + 文档」输出单一相关性分数,是典型的 Rerank 打分器; max_position_embeddings为 514,说明单条输入最长约 512 个 token,精排超长文档时记得截断或分段。
搭建两阶段搜索管线的 5 个关键步骤
步骤一:先跑通向量召回,确定精排候选集大小
在引入 Rerank 之前,先保证第一阶段可用:把语料切块 → 用向量模型编码 → 存入向量数据库。上线时先用纯召回 Top 100 观察相关性基线,这个基线是后续衡量精排提升效果的标尺。
💡 经验值:精排候选集取召回结果的 Top 50 ~ Top 100 即可。候选越多,精排耗时线性增长,但精度边际收益递减。
步骤二:获取 Rerank 模型文件
执行上面的 git clone 命令即可拿到全部文件。由于 rerank.onnx 等大文件通过 Git LFS 管理(见 .gitattributes),首次克隆可能需要稍长等待;若提示 LFS 对象缺失,可用 git lfs pull 补齐。
步骤三:用 ONNX Runtime 加载 Rerank 模型
ONNX 格式的最大优势是部署轻——不需要 GPU 和 PyTorch 依赖,CPU 上也能稳定运行,非常适合精排这种高吞吐小模型:
import onnxruntime as ort
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(".") # 读取 sentencepiece.bpe.model 等配置
session = ort.InferenceSession("rerank.onnx") # 加载 Rerank 模型权重
分词器会自动使用仓库中的 sentencepiece.bpe.model 完成中英文切分,<s>、</s> 等特殊符号由 special_tokens_map.json 统一约定。
步骤四:构造 query-doc 对并批量计算分数
Rerank 的输入是拼好的句子对:query + </s> + 文档内容。把召回的候选逐条与用户查询拼接、分词后送入模型,输出的那个标量就是相关性分数:
pairs = [f"{query}</s>{doc}" for doc in candidates]
inputs = tokenizer(pairs, padding=True, truncation=True, max_length=512)
outputs = session.run(None, {k: v["input_ids"] for k, v in inputs.items()})
⚡ 两点提效技巧:
- 批量推理:一次塞入整个候选集(batch),而不是逐条调用,CPU 上吞吐量可提升数倍;
- 控制长度:
max_length=512截断,避免个别超长文档拖慢整批推理。
步骤五:按分数重排,返回 Top-K 完成闭环
最后一步把精排结果接回搜索链路:
用户查询 → 向量召回 Top 100 → Rerank 打分 → 按分数降序 → 返回 Top 10
你会发现与纯向量召回相比:真正相关的文档显著前移,语义相近但答非所问的候选被压到后面——这正是两阶段搜索管线「召回保全、精排保质」的分工体现。
常见坑与最佳实践
- ❌ 忘记拼
</s>分隔符:query 与文档之间必须用</s>(即 sep_token)分隔,否则分数会明显失真; - ❌ 候选集无上限:对百万级结果直接精排会导致延迟爆炸,务必先用向量召回收窄范围;
- ✅ 保留打分日志:记录每次 query 的候选与分数,方便后续对比 version.txt 升级后的模型效果;
- ✅ 注意精度类型:模型以 float32 训练与导出(见 config.json 中
torch_dtype),推理时也保持 float32 输入,避免不必要的精度损失。
总结
搭建两阶段搜索管线的路径其实很清晰:
- 用向量召回快速圈定候选集;
- 克隆 Rerank 仓库获取 ONNX 模型与分词文件;
- ONNX Runtime 轻量部署;
- 批量计算 query-doc 相关性分数;
- 按分数重排返回 Top-K。
完成这 5 步,你的搜索系统就拥有了「又快又准」的完整链路。向量召回负责广度,Rerank 精排负责精度,两者配合,是语义搜索落地的经典范式。