为什么Rerank能大幅提升搜索质量?hs-rerank-1交叉编码器原理入门指南
为什么Rerank能大幅提升搜索质量?hs-rerank-1交叉编码器原理入门指南
hs-rerank-1 是一个多语言交叉编码器 Rerank(重排序)模型:它把查询和文档放在一起阅读,直接输出 0~1 的相关性分数。仅 114M 参数、支持中文在内的 8 种语言、8192 token 长上下文,是提升搜索与检索质量、开箱即用的轻量级 Rerank 模型。
一阶段召回为什么不够准?Rerank 的定位 🔍
大多数搜索系统都采用「两段式」架构:
| 阶段 | 模型类型 | 工作方式 | 特点 |
|---|---|---|---|
| 一阶段召回 | Bi-encoder(双塔) | 查询、文档各自独立编码成向量,算相似度 | 快,能秒级筛出成百上千个候选 |
| 二阶段精排 | Cross-encoder(交叉编码器) | 查询与文档拼接后一起编码打分 | 准,只处理召回出的候选集 |
双塔模型的速度优势来自"提前算好文档向量",但代价是:查询和文档在编码时互不相见,语义交互很弱,经常把"词面沾边但语义无关"的内容排在前面。
Rerank 之所以能大幅提升搜索质量,核心就在于它补上了这一课:让交叉编码器对候选文档逐一精读、重新打分,再按相关性排序,把真正相关的内容顶到最前面。
交叉编码器工作原理:查询与文档"同框"编码
交叉编码器的流程可以概括为三步:
- 拼接:把 query 和 document 连成一条输入序列(中间加分隔符);
- 编码:Transformer 的自注意力机制让两侧文本的每个 token 都能相互"关注",捕捉细粒度的语义关联;
- 打分:取 CLS 位置的输出经过分类头,得到一个相关性分数。
hs-rerank-1 正是标准的交叉编码器结构,打开 config.json 可以看到几个关键证据:
architectures为ModernBertForSequenceClassification(序列分类任务);classifier_pooling: "cls":从 CLS 位置提取句级表征用于打分;max_position_embeddings: 8192:支持单对输入最长 8192 token;hidden_size: 384、num_hidden_layers: 8、num_attention_heads: 6:典型的 small 级 Transformer 规模。
那为什么不直接对整个语料库用交叉编码器?因为打分是"成对"的:候选越多,前向次数越多。所以业界共识是——双塔负责"广撒网",交叉编码器负责"精挑细选"。
hs-rerank-1 模型档案:114M 参数的多语言 Reranker
根据 README.md 的模型概览,hs-rerank-1 的核心参数如下:
| 项目 | 说明 |
|---|---|
| 模型类型 | 交叉编码器 Reranker |
| 基座模型 | jhu-clsp/mmBERT-small(多语言 ModernBERT) |
| 参数量 | 114M(其中 98M 是 token 嵌入表,实际前向仅跑约 15M 参数的 Transformer) |
| 支持语言 | en、es、fr、de、pt、ja、ko、zh(简/繁) |
| 上下文长度 | 8,192 tokens(见 sentence_bert_config.json 中 max_seq_length) |
| 输出 | 每个"查询-文档"对输出一个 0~1 的相关性分数 |
| 文件格式 | GPU 用 model.safetensors(FP16),CPU 用 onnx/model.onnx(int8 词表量化) |
| 协议 | MIT |
几个对新手很友好的亮点 ✨:
- 小得快:剔除嵌入表后,一次前向只跑 15M 参数的主干,CPU 也能流畅服务;
- 真·多语言:中文、日文、韩文及多种欧洲语言开箱即用,适合国际化搜索场景;
- 吃长文:单对输入 8192 token,长文档、长对话场景不用频繁截断;
- 双格式交付:safetensors 面向 GPU 高性能推理,ONNX int8 面向 CPU 低成本部署,tokenizer_config.json 中的特殊 token(如
<bos>、<eos>、<start_of_turn>)也已配置就绪。
评测基准:小模型的 Rerank 表现
官方评测展示了 hs-rerank-1 在各基准上的 Rerank 能力(图源 README.md):
可以看出,这样一个 114M 的小模型在检索重排序任务上保持了很高的相关性区分度——这正是"小模型做精排"路线的价值:在可接受的延迟内,显著拉升 Top-N 结果的质量。
快速上手:3 种 hs-rerank-1 部署方式
方式一:sentence-transformers 本地调用
最简单的方式,几行代码拿到分数(分数越接近 1 越相关):
pip install -U sentence-transformers
from sentence_transformers import CrossEncoder
model = CrossEncoder("hindsight-ai/hs-rerank-1")
query = "我在做什么预算应用?"
documents = [
"用户希望预算应用支持 tooltip 提示。",
"用户每周日早晨去跑步。",
]
print(model.rank(query, documents))
# 相关文档得分接近 1,无关文档接近 0
模型类型与激活函数定义在 config_sentence_transformers.json 中,rank / predict 返回的是 0~1 的归一化分数。
方式二:TEI 部署为在线 Rerank 服务
适合团队共享服务。用 Text Embeddings Inference(TEI)的 CPU 或 GPU 镜像,通过 docker run 启动并指定 --model-id hindsight-ai/hs-rerank-1 --auto-truncate 即可,客户端请求 /rerank 接口(传入 query 与 texts 数组),CPU 镜像会自动加载 onnx/model.onnx。GPU 镜像记得按显卡型号选择对应 tag。
方式三:接入 Hindsight
如果你在使用 Hindsight 记忆系统,只需两行环境变量即可启用本地 Reranker:
HINDSIGHT_API_RERANKER_PROVIDER=local
HINDSIGHT_API_RERANKER_LOCAL_MODEL=hindsight-ai/hs-rerank-1
也可以把 PROVIDER 设为 tei 并指向自建的 TEI 服务地址。
什么时候值得加一层 Rerank?选型建议 📌
- 召回结果"沾边但不对题":典型的双塔语义不足,加 Rerank 立竿见影;
- 候选集规模在几百以内:交叉编码器的成对打分完全扛得住,延迟可控;
- 多语言 / 长文档场景:hs-rerank-1 的 8 语言和 8192 token 上下文正好覆盖这两类痛点;
- 算力有限:优先 CPU + ONNX int8 方案,先把效果验证起来,再考虑 GPU 提速。
反之,如果候选集上万、且要求毫秒级响应,则应把 Rerank 范围压缩到"Top 50~100 再精排"。
小结
Rerank 的本质,是用交叉编码器的"全文精读"能力,弥补一阶段召回"只看向量"的粗粒度。而 hs-rerank-1 把这条路线做到了很实用:114M 参数、8 语言、长上下文、CPU/GPU 双格式、MIT 协议。理解了 config.json 里 ModernBertForSequenceClassification 这条链路,你就掌握了交叉编码器 Rerank 模型的通用原理——剩下的,只是选对场景、把它排进你的两段式搜索流水线。
