Sieve-9B 快速上手教程:3行命令跑通你的第一个校准决策概率
Sieve-9B 快速上手教程:3行命令跑通你的第一个校准决策概率
Sieve-9B 是一个基于 Qwen3.5-9B 的开源决策模型(decision model):你给它一段文本或 JSON(称为 state,状态)和若干带类型的问题,它就为每个问题的每个选项输出一份校准过的决策概率。它只读一遍状态、直接给选项打分,从不生成文本,非常适合工单分派、流失预警、意图分类这类需要"可信概率"的场景。本文是一份快速上手指南,带你用 3 行命令跑通第一个校准决策概率。
📌 关键信息一览
| 项目 | 说明 |
|---|---|
| 基座模型 | Qwen/Qwen3.5-9B(仅文本部分,7.94B 参数) |
| 模型形态 | LoRA 适配器(rank 32)+ 210 万参数指针头(pointer head) |
| 问题类型 | choice / noul / score |
| GPU 显存 | 约 20 GB(bf16) |
| 校准温度 | T = 1.631(存储在 head.pt 中) |
| 上下文上限 | 状态与问题各 8,192 tokens |
更多细节可查 README.md。
什么是"校准的决策概率"?
普通大模型是"写出答案",Sieve-9B 则是"给选项打分"。给它一封客户投诉邮件,问"这位客户是否威胁要取消?",它返回的是每个选项的概率(比如 yes 0.87),而不是自己编一段话。
"校准"(calibration)为什么重要:当模型说"80% 可能"时,统计上约 80% 会成真。Sieve-9B 用独立的校准集拟合出温度 T = 1.631,域内开发集上期望校准误差(ECE)仅 0.028,而"信心 ≥ 0.9 却答错"的比例只有 1.7%(原始数据见 result.json)。
这意味着你可以直接把输出的概率用于阈值判断、风险分级,而不用额外猜"它到底有多确信"。
第一步:最快配置方法(环境安装)
先安装经过测试的依赖版本(torch 2.8.0、transformers 5.17.0、peft 0.21.0,见 provenance.json):
pip install torch==2.8.0 transformers==5.17.0 peft==0.21.0
再安装 Sieve 推理包([serve] 附带命令行服务组件):
pip install "sieve-decisions[serve]"
⚠️ 注意:Sieve-9B 本身是一个 LoRA 适配器,不是独立的文本生成模型,必须用 sieve 包加载,直接拿去生成文本是跑不通的。
第二步:3 行代码跑通第一个决策概率
from sieve import load_sieve, decide # 第 1 行:导入
m = load_sieve("sthanika-ai/Sieve-9B") # 第 2 行:加载模型
result = decide(m, state, questions) # 第 3 行:拿到决策概率
第 3 行的 decide 接收两个参数:
- state:要判断的文本或 JSON(例如一封邮件、一条工单)
- questions:一个字典,每个键是一个问题,声明其类型(
choice/noul/score)
完整示例(官方 README.md 同款):
result = decide(
m,
# state:一封投诉邮件
{"subject": "Duplicate charge on invoice 4411",
"body": "Billed twice. Refund today or we cancel."},
# questions:一个选择题 + 一个是非题
{"department": {"type": "choice",
"instructions": "Which team handles this?",
"criteria": {"billing": "invoices, payments, refunds",
"technical": "bugs and outages"}},
"churn_risk": {"type": "noul",
"instructions": "Does the customer threaten to cancel?"}}
)
返回结果包含每题的最可能选项、置信度、每个选项的概率。对上面这封邮件,department 应倾向 billing,churn_risk 的 P(yes) 会明显偏高。
💡 本仓库就是模型文件本身(adapter_model.safetensors、head.pt、tokenizer 等),把它们放到本地目录后,load_sieve 也可以直接指向该路径,无需重复下载。
第三步(可选):一键命令部署为服务
团队使用时可以一条命令起服务,并开启 CUDA graphs 加速:
sieve-serve --model sthanika-ai/Sieve-9B --graphs
每个问题作为独立的一行从状态缓存上运行,互不干扰;状态只被读取一次。官方在单张 A100 80GB 上实测的 p50 延迟(约 75 tokens 的已缓存状态):
| 选项数 | 2 | 5 | 25 | 100 | 255 |
|---|---|---|---|---|---|
| 延迟(ms) | 18.6 | 19.3 | 42.8 | 128.4 | 330.5 |
三种可提问类型:choice / noul / score 怎么用
| 类型 | 选项 | 返回内容 |
|---|---|---|
choice |
调用方自定义的 2~255 个键(可附说明) | 最可能的键、置信度、每个键的概率 |
noul |
是 / 否 | P(yes) |
score |
2~10 个有序等级 | 期望等级、置信度、每级概率 |
仓库文件速览:每个文件是干什么的
| 文件 | 内容 |
|---|---|
| adapter_model.safetensors / adapter_config.json | LoRA 适配器权重(rank 32,PEFT 格式) |
| head.pt | 指针头权重 + 校准温度 T = 1.631 |
| tokenizer.json / tokenizer_config.json | Qwen3.5-9B 分词器(未改动) |
| training_config.json | 训练配方、两次训练的权重平均方式 |
| training_metrics.json | 两次训练的步数与耗时 |
| result.json | 全部官方指标(由逐题保存的预测重算,与 sieve-eval 同口径) |
| provenance.json | 每个文件与训练数据的 SHA-256、库版本 |
| LICENSE | Apache-2.0 许可证 |
一个有意思的细节:Sieve-9B 是两次 rank-16 LoRA 训练跑出的权重按 50/50 平均的结果(即 "Model Soup" 做法),同一起点训练使平均更有效,详见 training_config.json。
效果亮点:值得关注的几个数字
- 🎯 域内(decision-v7 开发集,1,264 题):准确率 0.872,ECE 0.028
- 🌍 域外:transfer-v4 准确率 0.829;更难的 transfer-v9 为 0.753
- 🏆 Decision Index 排行榜(0.4.1 版):Full 分 41.73、公开分 41.88
- 💾 显存:bf16 约 20 GB;4,000 tokens 状态实测 17.6 GiB
常见问题 FAQ
Q:Sieve-9B 能聊天或生成文本吗? 不能。它移除了 Qwen3.5-9B 的语言模型头、多 token 预测层和视觉编码器,只保留文本主干加一个指针头,唯一职责就是"给选项打校准概率"。
Q:温度 T = 1.631 会改变答案吗?
不会。温度只调节概率的锐度,不改变最终选项。需要原始(未校准)概率时,设 temperature=1.0 即可。
Q:显存不够 A100 能跑吗? bf16 下约 20 GB 显存,24 GB 级别的消费级显卡(如 4090)即可运行。
Q:训练数据公开了吗? 训练数据本身未公开,但 provenance.json 记录了每个训练文件的 SHA-256 与条数(decision_v7_train 12,576 条、rule_structures 1,920 条等),并附了污染审计说明,可自行核验。
Q:选项可以有多少个?
choice 最多 255 个选项;官方实测 255 个选项单题耗时约 330 ms,仍属可用范围。