Sieve-9B 快速上手教程:3行命令跑通你的第一个校准决策概率

原创2026-11-14 11:44:06279 阅读

Sieve-9B 快速上手教程:3行命令跑通你的第一个校准决策概率

Sieve-9B 是一个基于 Qwen3.5-9B 的开源决策模型(decision model):你给它一段文本或 JSON(称为 state,状态)和若干带类型的问题,它就为每个问题的每个选项输出一份校准过的决策概率。它只读一遍状态、直接给选项打分,从不生成文本,非常适合工单分派、流失预警、意图分类这类需要"可信概率"的场景。本文是一份快速上手指南,带你用 3 行命令跑通第一个校准决策概率。

📌 关键信息一览

项目 说明
基座模型 Qwen/Qwen3.5-9B(仅文本部分,7.94B 参数)
模型形态 LoRA 适配器(rank 32)+ 210 万参数指针头(pointer head)
问题类型 choice / noul / score
GPU 显存 约 20 GB(bf16)
校准温度 T = 1.631(存储在 head.pt 中)
上下文上限 状态与问题各 8,192 tokens

更多细节可查 README.md。

什么是"校准的决策概率"?

普通大模型是"写出答案",Sieve-9B 则是"给选项打分"。给它一封客户投诉邮件,问"这位客户是否威胁要取消?",它返回的是每个选项的概率(比如 yes 0.87),而不是自己编一段话。

"校准"(calibration)为什么重要:当模型说"80% 可能"时,统计上约 80% 会成真。Sieve-9B 用独立的校准集拟合出温度 T = 1.631,域内开发集上期望校准误差(ECE)仅 0.028,而"信心 ≥ 0.9 却答错"的比例只有 1.7%(原始数据见 result.json)。

这意味着你可以直接把输出的概率用于阈值判断、风险分级,而不用额外猜"它到底有多确信"。

第一步:最快配置方法(环境安装)

先安装经过测试的依赖版本(torch 2.8.0、transformers 5.17.0、peft 0.21.0,见 provenance.json):

pip install torch==2.8.0 transformers==5.17.0 peft==0.21.0

再安装 Sieve 推理包([serve] 附带命令行服务组件):

pip install "sieve-decisions[serve]"

⚠️ 注意:Sieve-9B 本身是一个 LoRA 适配器,不是独立的文本生成模型,必须用 sieve 包加载,直接拿去生成文本是跑不通的。

第二步:3 行代码跑通第一个决策概率

from sieve import load_sieve, decide            # 第 1 行:导入
m = load_sieve("sthanika-ai/Sieve-9B")          # 第 2 行:加载模型
result = decide(m, state, questions)            # 第 3 行:拿到决策概率

第 3 行的 decide 接收两个参数:

  • state:要判断的文本或 JSON(例如一封邮件、一条工单)
  • questions:一个字典,每个键是一个问题,声明其类型(choice / noul / score)

完整示例(官方 README.md 同款):

result = decide(
    m,
    # state:一封投诉邮件
    {"subject": "Duplicate charge on invoice 4411",
     "body": "Billed twice. Refund today or we cancel."},
    # questions:一个选择题 + 一个是非题
    {"department": {"type": "choice",
                    "instructions": "Which team handles this?",
                    "criteria": {"billing": "invoices, payments, refunds",
                                 "technical": "bugs and outages"}},
     "churn_risk": {"type": "noul",
                    "instructions": "Does the customer threaten to cancel?"}}
)

返回结果包含每题的最可能选项、置信度、每个选项的概率。对上面这封邮件,department 应倾向 billing,churn_risk 的 P(yes) 会明显偏高。

💡 本仓库就是模型文件本身(adapter_model.safetensors、head.pt、tokenizer 等),把它们放到本地目录后,load_sieve 也可以直接指向该路径,无需重复下载。

第三步(可选):一键命令部署为服务

团队使用时可以一条命令起服务,并开启 CUDA graphs 加速:

sieve-serve --model sthanika-ai/Sieve-9B --graphs

每个问题作为独立的一行从状态缓存上运行,互不干扰;状态只被读取一次。官方在单张 A100 80GB 上实测的 p50 延迟(约 75 tokens 的已缓存状态):

选项数 2 5 25 100 255
延迟(ms) 18.6 19.3 42.8 128.4 330.5

三种可提问类型:choice / noul / score 怎么用

类型 选项 返回内容
choice 调用方自定义的 2~255 个键(可附说明) 最可能的键、置信度、每个键的概率
noul 是 / 否 P(yes)
score 2~10 个有序等级 期望等级、置信度、每级概率

仓库文件速览:每个文件是干什么的

文件 内容
adapter_model.safetensors / adapter_config.json LoRA 适配器权重(rank 32,PEFT 格式)
head.pt 指针头权重 + 校准温度 T = 1.631
tokenizer.json / tokenizer_config.json Qwen3.5-9B 分词器(未改动)
training_config.json 训练配方、两次训练的权重平均方式
training_metrics.json 两次训练的步数与耗时
result.json 全部官方指标(由逐题保存的预测重算,与 sieve-eval 同口径)
provenance.json 每个文件与训练数据的 SHA-256、库版本
LICENSE Apache-2.0 许可证

一个有意思的细节:Sieve-9B 是两次 rank-16 LoRA 训练跑出的权重按 50/50 平均的结果(即 "Model Soup" 做法),同一起点训练使平均更有效,详见 training_config.json。

效果亮点:值得关注的几个数字

  • 🎯 域内(decision-v7 开发集,1,264 题):准确率 0.872,ECE 0.028
  • 🌍 域外:transfer-v4 准确率 0.829;更难的 transfer-v9 为 0.753
  • 🏆 Decision Index 排行榜(0.4.1 版):Full 分 41.73、公开分 41.88
  • 💾 显存:bf16 约 20 GB;4,000 tokens 状态实测 17.6 GiB

常见问题 FAQ

Q:Sieve-9B 能聊天或生成文本吗? 不能。它移除了 Qwen3.5-9B 的语言模型头、多 token 预测层和视觉编码器,只保留文本主干加一个指针头,唯一职责就是"给选项打校准概率"。

Q:温度 T = 1.631 会改变答案吗? 不会。温度只调节概率的锐度,不改变最终选项。需要原始(未校准)概率时,设 temperature=1.0 即可。

Q:显存不够 A100 能跑吗? bf16 下约 20 GB 显存,24 GB 级别的消费级显卡(如 4090)即可运行。

Q:训练数据公开了吗? 训练数据本身未公开,但 provenance.json 记录了每个训练文件的 SHA-256 与条数(decision_v7_train 12,576 条、rule_structures 1,920 条等),并附了污染审计说明,可自行核验。

Q:选项可以有多少个? choice 最多 255 个选项;官方实测 255 个选项单题耗时约 330 ms,仍属可用范围。

登录后查看全文
Sieve-9B