Sieve-9B 是什么?一个永不生成文本的AI决策模型完全指南
Sieve-9B 是什么?一个永不生成文本的AI决策模型完全指南
Sieve-9B 是一个永不生成文本的 AI 决策模型:你给它一段文本或 JSON(称为"状态")加上一组选择题,它会为每个选项直接输出校准过的概率,而不像普通大语言模型那样逐字"写"出答案。它是基于 Qwen3.5-9B 训练的 LoRA 适配器 + 轻量指针头组合,适合做文本分类、意图识别、置信度判断等"做判断"而非"写文章"的任务。
一句话理解:它不是"会写字的 AI",而是"会打分的 AI"
普通大模型(LLM)的输出方式是生成文本——一个 token 接一个 token 地写出来,慢、可能跑偏、概率也难以直接解释。
Sieve-9B 走的是完全不同的路线:
| 维度 | 普通大语言模型 | Sieve-9B |
|---|---|---|
| 输出方式 | 逐字生成文本 | 直接对选项打分,从不生成文本 |
| 输出内容 | 一段回答 | 每个选项的概率 + 置信度 |
| 速度 | 受生成长度影响 | 2 个选项仅约 18.6 ms(CUDA graphs,A100 实测) |
| 概率可信度 | 难以校准 | 内置校准温度 T = 1.631,ECE 低至 0.028 |
| 显存占用 | 全量模型 | bf16 下约 20 GB(9B 基座 + 适配器) |
简单说:把选择题交给它,它秒回"哪个选项、有多大把握",全程一个字都不生成。
工作原理:一次读状态,三个问题类型
Sieve-9B 的结构可以拆成三层(详见 README.md 的 "How it works" 一节):
- 基座(Backbone):只保留 Qwen3.5-9B 的文本部分——32 层 + 词嵌入,共 7.94B 参数;语言模型头、多 token 预测层和视觉编码器(合计 1.72B 参数)都被移除了。
- 适配器(LoRA):秩 32 的 LoRA 权重(adapter_model.safetensors),是两次秩 16 训练运行 50/50 平均的产物(即 Model Soups 技巧)。
- 指针头(Pointer Head):仅 210 万参数的小头(head.pt),负责用"决策点"去给每个选项的结尾打分——这是"打分不写字"的关键。
每个问题都会基于同一份状态缓存独立计算,问题之间互不干扰。
三种问题类型
| 类型 | 选项 | 返回内容 |
|---|---|---|
choice |
2–255 个自定义键 | 最可能的键、置信度、每个键的概率 |
noul |
是 / 否 | P(是) |
score |
2–10 个有序等级 | 期望等级、置信度、每个等级的概率 |
最小示例:从加载到出结果
from sieve import load_sieve, decide
m = load_sieve("sthanika-ai/Sieve-9B")
decide(m, {"subject": "发票4411重复扣款", "body": "重复扣费,今天不退就取消合作。"},
{"department": {"type": "choice",
"criteria": {"billing": "发票、付款、退款",
"technical": "故障与宕机"}},
"churn_risk": {"type": "noul", "instructions": "客户是否威胁取消?"}})
注意:Sieve-9B 不能单独用文本生成方式加载,它不是文本生成模型,必须通过配套的 sieve 代码库使用(官方代码仓库为 sthanika-ai 的 Sieve 项目,安装命令见 README.md 的 Use 一节)。
快速上手:部署与硬件要求
- 加载:
load_sieve("sthanika-ai/Sieve-9B")即可,需要 GPU。 - 起服务:
sieve-serve --model sthanika-ai/Sieve-9B --graphs(启用 CUDA graphs 后最快路径 2 选项 18.6 ms)。 - 显存:bf16 下约 20 GB;4,000 token 状态实测 17.6 GiB。
- Token 上限:状态最多 8,192 tokens;每个问题连同选项最多 8,192 tokens。
- 本地获取:如需克隆模型仓库,地址为
https://gitcode.com/hf_mirrors/sthanika-ai/Sieve-9B。
⚠️ 小贴士:head.pt 中存储的校准温度 T = 1.631 是用 decision-v7 校准集拟合的;温度只改变概率的"刻度",永远不会改变最终选中的答案,设 temperature=1.0 可拿到原始概率。
核心成绩:榜单与基准一览
成绩数据全部可在 result.json 中逐题复核:
| 基准 | 规模 | 准确率 | 亮点 |
|---|---|---|---|
| Decision Index 0.4.1 榜单 | 维护者私有+新域测试 | Full 41.73 / Public 41.88 | 该榜单第一(board data 2026-10-28) |
| decision-v7(域内) | 1,264 题 | 0.872 | ECE 仅 0.028,概率非常可信 |
| transfer-v4(域外) | 656 题 | 0.829 | 泛化良好 |
| transfer-v9 严格版(域外更难) | 936 题 | 0.753 | Brier 0.337 |
| MMLU(57 学科四选一) | 14,042 题 | 0.758 | 选择题形态下显著稳定 |
| BFCL v3 工具选择 | 1,909 题 | 0.963 | 选哪个函数几乎全对 |
它的特色之一是校准质量:即使答错,"自信地错"(错误答案概率 ≥ 0.9 的比例)在域内仅 1.7%。对需要置信度排序、人工复核的业务来说,这比裸准确率更有价值。
仓库文件清单:每个文件是干什么的
| 文件 | 作用 |
|---|---|
| adapter_model.safetensors | LoRA 适配器权重(秩 32,PEFT 格式) |
| adapter_config.json | 适配器配置:基座 Qwen/Qwen3.5-9B、lora_alpha: 64、12 个目标模块 |
| head.pt | 指针头权重 + 校准温度 T = 1.631 |
| tokenizer.json / tokenizer_config.json | 与基座一致的 Qwen3.5-9B 分词器 |
| training_config.json | 完整训练配方:两次运行、数据文件与数据增强策略 |
| training_metrics.json | 两次训练的步数、记录数、耗时(单张 A100 约 92–129 分钟) |
| result.json | 上表所有数字的逐题预测原始来源 |
| provenance.json | 每个文件的 SHA-256、训练数据指纹、依赖版本(可复现性凭证) |
| LICENSE | Apache-2.0 许可 |
💡 一个亮点:provenance.json 中还包含训练数据对 7 个基准分区的污染审计结果——确认训练数据与评测集零重叠,这在开源模型里相当少见。
它是怎么训练出来的?
- 配方:LoRA r=16(α=32),作用于注意力/MLP/DeltaNet 投影层,指针头从零训练;OneCycle 调度、lr 5e-5、2 个 epoch、bf16。
- 模型汤(Model Soups):同一随机种子训出 run A / run B 两份权重,50/50 平均成最终的秩 32 适配器——平均后准确率 0.891,NLL 更低(0.327 vs 0.352)。
- 数据:4 个文件共约 1.68 万条记录,含 10 个公开分类/NLI/情感数据集、策略最小对、1,920 条规则结构记录(and/or/not/unless/if 组合),并做了"无以上选项"增广和无关上下文填充。
- 选择准则:只用校准集挑 checkpoint,从未用任何榜单数据选模型。
完整细节见 training_config.json。
适合谁用?典型场景
- ✅ 客服/工单意图路由:
choice分派团队,noul判断流失风险 - ✅ 工具/函数选择:BFCL 上 0.963 的选择准确率,适合 Agent 工具路由
- ✅ 需要置信度的分类:金融意图(Banking77 上 0.857)、情感、NLI 判断
- ✅ 高吞吐低延迟:状态只读一次,多个问题共享缓存,2 选项 18.6 ms 起步
- ❌ 不适合:开放式写作、代码生成、闲聊——它根本不生成文本
常见问题(FAQ)
Q1:为什么叫 "Sieve"(筛子)? 它的职责就是把候选项"筛一遍",给出概率分布,而不是生产内容。
Q2:需要多强的显卡? bf16 约 20 GB 显存即可运行,A100 80GB 下配合 CUDA graphs 可获得最佳延迟。
Q3:概率可以直接用来排序吗? 可以。温度已在校准集上拟合,ECE 在域内仅 0.028,概率高低可直接作为置信度排序依据。
Q4:许可是什么? Apache-2.0(见 LICENSE),基座 Qwen3.5-9B 同为 Apache-2.0,可自由商用。
小结
Sieve-9B 展示了大模型的另一面:不写字,只判断。它以 2.1M 参数的指针头改造了 9B 级基座,用"直接给选项打分"替代"逐字生成",换来毫秒级延迟、可校准的概率和榜单级决策能力。如果你的业务需要的是"稳定、快速、有把握的判断",而不是"会写作的通用助手",这套模型值得一试。