重排序服务生产部署清单:hs-rerank-1 的 GPU 选型、批处理与调优实战指南
重排序服务生产部署清单:hs-rerank-1 的 GPU 选型、批处理与调优实战指南
hs-rerank-1 是一款多语言重排序模型(reranker),它把一条查询(query)和一段文档(document)一起读入,输出一个 0~1 的相关性分数,通常用在搜索、推荐与 RAG 检索的"第二阶段精排"。本文是一份生产部署清单,带你在真实环境里完成 GPU 选型、批处理配置与参数调优,让重排序服务稳定、低延迟地上线。
🧩 先认识 hs-rerank-1:轻量多语言重排序器
在部署之前,先搞清楚"你部署的到底是什么",这直接决定硬件和参数的选择:
- 模型类型:Cross-encoder 重排序器,逐对打分(不是向量召回,而是精排)。
- 参数量:114M,其中 98M 是词表嵌入表,真正参与前向的 transformer 只有约 15M,所以推理非常轻量。
- 上下文长度:单条 query + document 最多支持 8192 tokens,适合长文档。
- 多语言:覆盖 en / es / fr / de / pt / ja / ko / zh(简繁)。
- 双精度策略:GPU 走
FP16的 safetensors,CPU 走int8的 ONNX。
这些细节来自 config.json 与 sentence_bert_config.json:8 层 ModernBERT、hidden_size 384、256000 词表,并采用 full / sliding 混合注意力(局部窗口 128),这也是它能兼顾长文本与低延迟的关键。GPU 权重见 model.safetensors,CPU 权重见 onnx/model.onnx。
💡 一句话:它"小"且"长",非常适合放在检索链路末端做精排,对 GPU 的要求并不高。
🎯 GPU 选型:L4、A100 与 H100 该用哪个镜像
hs-rerank-1 通过 Text Embeddings Inference(TEI) 提供服务,GPU 版需要选对镜像 tag,否则可能出现算子不匹配或启动失败。规则很简单:
| GPU 型号 | 架构 / 算力 | 推荐 TEI 镜像 tag |
|---|---|---|
| L4、RTX 40 系列 | Ada Lovelace(sm_89) | 89-1.9.3 |
| A100 | Ampere(sm_80) | 1.9.3 |
| H100 | Hopper(sm_90) | 1.9.3 |
选型要点:
- 先看架构,再看型号:
89-1.9.3专给 Ada(sm_89)卡,A100 / H100 一律用通用的1.9.3。 - 显存不用贪多:114M 参数的 FP16 模型占用极低,L4(24GB)都绰绰有余,A100/H100 主要用于追求更高吞吐。
- 纯 CPU 也能跑:用
cpu-1.9.3镜像 +onnx/model.onnx的 int8 导出,适合边缘或低成本场景。
🚀 一条命令启动重排序服务(CPU / GPU)
GPU 版(生产首选):
docker run --gpus all -p 8080:80 \
ghcr.io/huggingface/text-embeddings-inference:89-1.9.3 \
--model-id hindsight-ai/hs-rerank-1 --auto-truncate \
--max-client-batch-size 128
CPU 版(自动加载 onnx/model.onnx):
docker run -p 8080:80 \
ghcr.io/huggingface/text-embeddings-inference:cpu-1.9.3 \
--model-id hindsight-ai/hs-rerank-1 --auto-truncate \
--max-client-batch-size 128
⚠️ 把上面的
89-1.9.3换成与你的卡匹配的 tag(见上一节表格),并把-p 8080:80的8080改成你环境里空闲的端口。
📦 批处理调优:设置 max-client-batch-size
生产环境下,重排序服务往往同时收到大量并发请求。TEI 会把多个并发请求合并成一个 GPU 批再一起计算,--max-client-batch-size 就是控制这个批大小的上限。
| 参数 | 常用值 | 作用 |
|---|---|---|
--max-client-batch-size |
128 |
允许合并进单个批的最大请求数,越大吞吐越高 |
--auto-truncate |
开启 | 超过 8192 tokens 的超长输入自动截断,避免溢出报错 |
-p 8080:80 |
— | 宿主机端口映射,改成你的实际端口 |
调优建议:
- 先用官方推荐默认值
128上线,观察 GPU 利用率与 P95 延迟。 - 延迟优先:把批调小(如 32/64),降低单次等待。
- 吞吐优先:把批调大(如 256),适合离线批量打分。
- 配合
--auto-truncate处理长文档,既保住 8192 的长上下文能力,又不会因偶发超长输入打挂服务。
🔧 调用重排序接口:一次请求多个文档
服务就绪后,向 /rerank 发一条 JSON 即可,返回每个文档的相关性分数:
curl 127.0.0.1:8080/rerank \
-H 'Content-Type: application/json' \
-d '{
"query": "我在做哪个预算应用?",
"texts": [
"用户希望在自己的预算应用里加工具提示。",
"用户每周日早上去跑步。"
]
}'
相关分数在 0~1 之间,越接近 1 表示该文档与查询越相关,你可以直接按分数取 Top-K 完成精排。
🔌 三种接入方式,各适其用
除了独立的 TEI 服务,hs-rerank-1 还给了三种接入姿势,按团队形态任选:
1. Sentence Transformers(进程内,适合开发与离线)
from sentence_transformers import CrossEncoder
model = CrossEncoder("hindsight-ai/hs-rerank-1")
print(model.rank("我在做哪个预算应用?", ["用户要加工具提示。", "用户周末跑步。"]))
# [{'corpus_id': 0, 'score': 0.96}, {'corpus_id': 1, 'score': 0.0003}, ...]
2. Hindsight(local:进程内加载模型)
HINDSIGHT_API_RERANKER_PROVIDER=local
HINDSIGHT_API_RERANKER_LOCAL_MODEL=hindsight-ai/hs-rerank-1
3. Hindsight(tei:指向独立 TEI 服务,或托管推理服务)
HINDSIGHT_API_RERANKER_PROVIDER=tei
HINDSIGHT_API_RERANKER_TEI_URL=http://localhost:8080
💡 生产环境推荐 tei:模型独立成服务、可水平扩缩容,Hindsight 通过 URL 调用即可,互不影响。
✅ 上线前自检清单
部署完成后,对照下面这张清单逐项打勾,避免"看起来启动了,实际不可用":
- [ ] 镜像 tag 与 GPU 架构匹配:Ada 用
89-1.9.3,A100/H100 用1.9.3。 - [ ] 端口映射正确:
-p 8080:80的宿主机端口未被占用且可达。 - [ ] 批大小合理:
--max-client-batch-size结合 QPS 与延迟目标设定(默认 128)。 - [ ] 长文本已兜底:开启
--auto-truncate,防止超长输入报错。 - [ ] 接口调通:用上面
/rerank的curl请求,确认返回 0~1 的分数。 - [ ] 监控已就位:盯住 GPU 利用率、显存、P95 延迟与错误率。
- [ ] 精度核对:抽查几条已知相关的 query-document 对,分数排序是否符合预期。
按这份清单走完,你就能把 hs-rerank-1 这份轻量、长上下文的多语言重排序服务,稳稳地跑进生产环境——选对卡、配好批、调好参,三件事就够了。