OneBrain Rerank v1 制作全流程揭秘:从 bge-reranker-v2-m3 到 int8 ONNX 的完整溯源链
OneBrain Rerank v1 制作全流程揭秘:从 bge-reranker-v2-m3 到 int8 ONNX 的完整溯源链
OneBrain Rerank v1 是 OneBrain 本地搜索的"第二层精排"重排序模型,基于 BAAI 的 bge-reranker-v2-m3 多语言 cross-encoder 制作,经 ONNX 导出 + int8 动态量化,体积从 2.27 GB 压缩到 569 MB,让树莓派级别的纯 CPU 设备也能流畅完成重排序。本文完整揭秘它的制作溯源链、int8 取舍与校准结果。
一文看懂 OneBrain Rerank v1 是什么
先说结论:OneBrain Rerank v1 是一个"给候选结果打分排序"的重排序模型,不是检索器、也不生成向量。它接收 (query, passage) 文本对,输出 0–1 的相关性分数,分数越高管员度越高。
在 OneBrain 原生搜索中,它承担 Tier-2 精准阶段(CLI v3.4.7+):
- 第一阶段:BM25 / 向量检索先召回一批候选笔记
- 第二阶段:本模型对候选逐一打分,重排出真正相关的内容
💡 一个常见误区:v1 没有做任何微调。它是 bge-reranker-v2-m3 的"体积/速度优化版",保持通用能力。后续的 v2+ 才可能针对 OneBrain 笔记库场景微调,且每个版本独立成仓库、由 OneBrain CLI 用 sha256 锁定校验。
仓库里有什么:6 个文件各是干嘛的
整个仓库干净利落,只有 6 个文件,分工如下:
| 文件 | 作用 |
|---|---|
| model_int8.onnx | 主角:量化后的 ONNX 模型(569,011,484 字节) |
| README.md | 模型卡:溯源链、验证数据、使用方法一应俱全 |
| config.json | 模型结构配置:24 层 xlm-roberta、隐藏维度 1024、25 万词表 |
| tokenizer.json | 分词器词表(XLM-R) |
| tokenizer_config.json | 分词器配置 |
| special_tokens_map.json | 特殊 token 映射(<s>、</s>、<mask> 等) |
多语言能力(泰语/英语一等公民支持)直接继承自基座 bge-reranker-v2-m3。
制作溯源链:三步从 PyTorch 到 int8 ONNX
OneBrain 坚持 local-first、CPU-only 设计(不假设有 GPU,硬件下限是树莓派级),所以每一步都在为"下载得快、跑得快"服务:
① 基座模型:BAAI/bge-reranker-v2-m3(Apache-2.0)
多语言 cross-encoder 重排序器,这是整个制作的起点。
② ONNX 导出:fp32 单文件 导出为 fp32 的 ONNX 格式,体积 2.27 GB。这一步让模型可以脱离 PyTorch 生态,被 onnxruntime 直接加载推理。
③ int8 动态量化:QInt8 权重
使用 onnxruntime 1.27.0 做动态 int8 量化,输出单文件。这里有个工程细节:由于模型超过 2 GB,导出时设置 DefaultTensorType=FLOAT 跳过了 shape-inference 的精度风险——这也是很多 ONNX 量化教程里不会提的实战经验。
最终产物就是仓库里的 model_int8.onnx,sha256 为 dd7b26f4a233732aefbe857bef026050582dc7c1bdb8aeda909080bf15b2ad88,任何人下载后都可自行校验,保证拿到的一模一样。
为什么选 int8:体积与速度的双重收益
这一步是全文最值得新手理解的地方。int8 带来两个实打实的好处:
- 体积约 4 倍缩减:fp32 ONNX 是 2.27 GB,int8 版只有 569 MB。对普通用户来说,这直接决定了"大多数人懒得下载"还是"可以默认随工具一起装"
- CPU 推理更快:动态 QInt8 整数运算在 CPU 上的 kernel 跑得更快。OneBrain 的设计目标是默认候选深度下 Tier-2 阶段 P50 延迟 ≤500 ms(这是设计目标,官方未宣称任何实测延迟数字)
那质量损失呢?README 里给了诚实的回答:int8 并不比 fp32 更准——它是同一套权重以约 1/4 的体积运行,量化会轻微扰动 logits,但对"只需要相对排序"的重排序任务来说,这种损失小到可以忽略。这正是 cross-encoder 重排能在 OneBrain 目标硬件上跑通的取舍。
验证结果:int8 vs fp32,最大差异仅 0.0046
官方用 sigmoid(logit) 对典型 (query, passage) 对做了对比:
| 测试对 | fp32 | int8 | 差值 |
|---|---|---|---|
| "what is panda?" / 熊猫段落 | 0.9541 | 0.9495 | 0.0046 |
| "what is panda?" / 无关段落(埃菲尔铁塔) | 0.0000 | 0.0000 | 0.0000 |
| "how to install rust compiler" / rustup 段落 | 0.9848 | 0.9866 | 0.0018 |
| 泰语 daemon 配置 / 相关泰语段落 | 0.9979 | 0.9978 | 0.0002 |
| 泰语 daemon 配置 / 无关泰语段落 | 0.0000 | 0.0000 | 0.0000 |
成对排序结果与 fp32 完全一致,最大差值 0.0046——泰语样例也说明多语言精度同样稳定。
分数怎么用:OneBrain 黄金笔记集校准区间
除了对比验证,OneBrain 还在内部黄金集(一个约 585 篇笔记的泰英混合 Obsidian 库,20 个可回答 + 10 个已知无答案查询)上测量了分数分布。注意:这是单一真实库的内部评估,不是 MTEB/BEIR 等公开基准:
| 匹配类型 | top 命中 sigmoid 分数 |
|---|---|
| 真正相关命中 | 0.73 – 0.99 |
| 边缘 / 弱相关 | 0.20 – 0.52 |
| 真正无答案查询 | 0.003 – 0.066(中位数 0.011) |
真正命中和无答案查询的分数相差约一个数量级——这正是 bi-encoder 余弦相似度重叠区间做不到的能力,也是 OneBrain 专门设 Tier-2 重排阶段的原因。基于这些实测区间,OneBrain 采用了三档阈值:
- > 0.60:高置信
- 0.30 – 0.60:可能相关
- < 0.30:无强匹配(默认闸门为 0.30)
直接使用:从 tokenize 到 sigmoid 分数
OneBrain 用户无需关心细节——onebrain search 会在首次 reindex 时自动下载模型,并对照锁定的 sha256 校验。如果想直接消费这个 ONNX 模型,流程也很简单:
- 用仓库自带的 tokenizer 把
(query, passage)编码,max_length512 - 喂给 ONNX:
input_ids+attention_mask(int64) - 得到
logits [batch, 1](原始 logit,非概率) - 对其做 sigmoid 即得 0–1 相关性分数
⚠️ 超过 512 token 的长文会被截断。OneBrain 的做法是在上游先把文档切成块,让重排器只看到块级文本。
局限与注意事项(保持清醒)
- v1 未微调:通用重排器,未针对任何特定领域适配
- 评估范围有限:仅内部黄金集验证,不宣称任何公开基准分数
- 512 token 上限:长段落截断,依赖上游分块
- int8 扰动存在:≤ 0.0046 的 logit 偏移,对排序可忽略,但确实存在
- 面向 CPU 优化:如果你追求 GPU 上的极致精度,建议直接用 fp32 基座模型
总结:一条可复现的溯源链
OneBrain Rerank v1 的价值不在于"新模型",而在于一条完整、可校验的工程链:bge-reranker-v2-m3(Apache-2.0)→ fp32 ONNX 导出(2.27 GB)→ int8 动态量化(569 MB,sha256 锁定)。体积缩 4 倍、CPU 推理更快、排序精度与 fp32 完全一致,让 cross-encoder 重排第一次能在树莓派级硬件上随工具默认启用——这就是本地优先搜索的务实答案。