Sieve-9B 是什么?一个永不生成文本的AI决策模型完全指南

原创2026-11-14 19:33:271,424 阅读

Sieve-9B 是什么?一个永不生成文本的AI决策模型完全指南

Sieve-9B 是一个永不生成文本的 AI 决策模型:你给它一段文本或 JSON(称为"状态")加上一组选择题,它会为每个选项直接输出校准过的概率,而不像普通大语言模型那样逐字"写"出答案。它是基于 Qwen3.5-9B 训练的 LoRA 适配器 + 轻量指针头组合,适合做文本分类、意图识别、置信度判断等"做判断"而非"写文章"的任务。

一句话理解:它不是"会写字的 AI",而是"会打分的 AI"

普通大模型(LLM)的输出方式是生成文本——一个 token 接一个 token 地写出来,慢、可能跑偏、概率也难以直接解释。

Sieve-9B 走的是完全不同的路线:

维度 普通大语言模型 Sieve-9B
输出方式 逐字生成文本 直接对选项打分,从不生成文本
输出内容 一段回答 每个选项的概率 + 置信度
速度 受生成长度影响 2 个选项仅约 18.6 ms(CUDA graphs,A100 实测)
概率可信度 难以校准 内置校准温度 T = 1.631,ECE 低至 0.028
显存占用 全量模型 bf16 下约 20 GB(9B 基座 + 适配器)

简单说:把选择题交给它,它秒回"哪个选项、有多大把握",全程一个字都不生成。

工作原理:一次读状态,三个问题类型

Sieve-9B 的结构可以拆成三层(详见 README.md 的 "How it works" 一节):

  1. 基座(Backbone):只保留 Qwen3.5-9B 的文本部分——32 层 + 词嵌入,共 7.94B 参数;语言模型头、多 token 预测层和视觉编码器(合计 1.72B 参数)都被移除了。
  2. 适配器(LoRA):秩 32 的 LoRA 权重(adapter_model.safetensors),是两次秩 16 训练运行 50/50 平均的产物(即 Model Soups 技巧)。
  3. 指针头(Pointer Head):仅 210 万参数的小头(head.pt),负责用"决策点"去给每个选项的结尾打分——这是"打分不写字"的关键。

每个问题都会基于同一份状态缓存独立计算,问题之间互不干扰。

三种问题类型

类型 选项 返回内容
choice 2–255 个自定义键 最可能的键、置信度、每个键的概率
noul 是 / 否 P(是)
score 2–10 个有序等级 期望等级、置信度、每个等级的概率

最小示例:从加载到出结果

from sieve import load_sieve, decide

m = load_sieve("sthanika-ai/Sieve-9B")
decide(m, {"subject": "发票4411重复扣款", "body": "重复扣费,今天不退就取消合作。"},
       {"department": {"type": "choice",
                       "criteria": {"billing": "发票、付款、退款",
                                     "technical": "故障与宕机"}},
        "churn_risk": {"type": "noul", "instructions": "客户是否威胁取消?"}})

注意:Sieve-9B 不能单独用文本生成方式加载,它不是文本生成模型,必须通过配套的 sieve 代码库使用(官方代码仓库为 sthanika-ai 的 Sieve 项目,安装命令见 README.md 的 Use 一节)。

快速上手:部署与硬件要求

  • 加载:load_sieve("sthanika-ai/Sieve-9B") 即可,需要 GPU。
  • 起服务:sieve-serve --model sthanika-ai/Sieve-9B --graphs(启用 CUDA graphs 后最快路径 2 选项 18.6 ms)。
  • 显存:bf16 下约 20 GB;4,000 token 状态实测 17.6 GiB。
  • Token 上限:状态最多 8,192 tokens;每个问题连同选项最多 8,192 tokens。
  • 本地获取:如需克隆模型仓库,地址为 https://gitcode.com/hf_mirrors/sthanika-ai/Sieve-9B。

⚠️ 小贴士:head.pt 中存储的校准温度 T = 1.631 是用 decision-v7 校准集拟合的;温度只改变概率的"刻度",永远不会改变最终选中的答案,设 temperature=1.0 可拿到原始概率。

核心成绩:榜单与基准一览

成绩数据全部可在 result.json 中逐题复核:

基准 规模 准确率 亮点
Decision Index 0.4.1 榜单 维护者私有+新域测试 Full 41.73 / Public 41.88 该榜单第一(board data 2026-10-28)
decision-v7(域内) 1,264 题 0.872 ECE 仅 0.028,概率非常可信
transfer-v4(域外) 656 题 0.829 泛化良好
transfer-v9 严格版(域外更难) 936 题 0.753 Brier 0.337
MMLU(57 学科四选一) 14,042 题 0.758 选择题形态下显著稳定
BFCL v3 工具选择 1,909 题 0.963 选哪个函数几乎全对

它的特色之一是校准质量:即使答错,"自信地错"(错误答案概率 ≥ 0.9 的比例)在域内仅 1.7%。对需要置信度排序、人工复核的业务来说,这比裸准确率更有价值。

仓库文件清单:每个文件是干什么的

文件 作用
adapter_model.safetensors LoRA 适配器权重(秩 32,PEFT 格式)
adapter_config.json 适配器配置:基座 Qwen/Qwen3.5-9B、lora_alpha: 64、12 个目标模块
head.pt 指针头权重 + 校准温度 T = 1.631
tokenizer.json / tokenizer_config.json 与基座一致的 Qwen3.5-9B 分词器
training_config.json 完整训练配方:两次运行、数据文件与数据增强策略
training_metrics.json 两次训练的步数、记录数、耗时(单张 A100 约 92–129 分钟)
result.json 上表所有数字的逐题预测原始来源
provenance.json 每个文件的 SHA-256、训练数据指纹、依赖版本(可复现性凭证)
LICENSE Apache-2.0 许可

💡 一个亮点:provenance.json 中还包含训练数据对 7 个基准分区的污染审计结果——确认训练数据与评测集零重叠,这在开源模型里相当少见。

它是怎么训练出来的?

  • 配方:LoRA r=16(α=32),作用于注意力/MLP/DeltaNet 投影层,指针头从零训练;OneCycle 调度、lr 5e-5、2 个 epoch、bf16。
  • 模型汤(Model Soups):同一随机种子训出 run A / run B 两份权重,50/50 平均成最终的秩 32 适配器——平均后准确率 0.891,NLL 更低(0.327 vs 0.352)。
  • 数据:4 个文件共约 1.68 万条记录,含 10 个公开分类/NLI/情感数据集、策略最小对、1,920 条规则结构记录(and/or/not/unless/if 组合),并做了"无以上选项"增广和无关上下文填充。
  • 选择准则:只用校准集挑 checkpoint,从未用任何榜单数据选模型。

完整细节见 training_config.json。

适合谁用?典型场景

  • ✅ 客服/工单意图路由:choice 分派团队,noul 判断流失风险
  • ✅ 工具/函数选择:BFCL 上 0.963 的选择准确率,适合 Agent 工具路由
  • ✅ 需要置信度的分类:金融意图(Banking77 上 0.857)、情感、NLI 判断
  • ✅ 高吞吐低延迟:状态只读一次,多个问题共享缓存,2 选项 18.6 ms 起步
  • ❌ 不适合:开放式写作、代码生成、闲聊——它根本不生成文本

常见问题(FAQ)

Q1:为什么叫 "Sieve"(筛子)? 它的职责就是把候选项"筛一遍",给出概率分布,而不是生产内容。

Q2:需要多强的显卡? bf16 约 20 GB 显存即可运行,A100 80GB 下配合 CUDA graphs 可获得最佳延迟。

Q3:概率可以直接用来排序吗? 可以。温度已在校准集上拟合,ECE 在域内仅 0.028,概率高低可直接作为置信度排序依据。

Q4:许可是什么? Apache-2.0(见 LICENSE),基座 Qwen3.5-9B 同为 Apache-2.0,可自由商用。

小结

Sieve-9B 展示了大模型的另一面:不写字,只判断。它以 2.1M 参数的指针头改造了 9B 级基座,用"直接给选项打分"替代"逐字生成",换来毫秒级延迟、可校准的概率和榜单级决策能力。如果你的业务需要的是"稳定、快速、有把握的判断",而不是"会写作的通用助手",这套模型值得一试。

登录后查看全文
Sieve-9B