不生成文本也能登顶:Decision Index 并列第一的决策模型 Sieve-31B-v3 完整入门指南
不生成文本也能登顶:Decision Index 并列第一的决策模型 Sieve-31B-v3 完整入门指南
Sieve-31B-v3 是一款不生成任何文本的决策模型:给它一段文字或 JSON(称为 state)加上一组带选项的问题,它直接输出每个选项的校准概率,并在 Decision Index 排行榜上以 71.10 分并列 243 个模型中的第一。本文是 Sieve-31B-v3 的完整入门指南:它如何工作、成绩有多硬、以及怎样快速跑起来。
什么是 Sieve-31B-v3:一个"只打分、不写字"的决策模型
传统大语言模型做选择题的流程是:生成一段推理文本 → 解析出答案。这既慢又容易"答非所问"。
Sieve-31B-v3 走的是另一条路 🎯:
- 读一次:状态(state)只读一遍,同一请求里的所有问题共享这一次阅读
- 直接打分:它在
Answer: (位置读取选项标签(A、B、……)的输出层 logits,softmax 后就是每个选项的概率 - 绝不生成文本:没有 token 逐个生成,也就没有幻觉式跑题
它支持三类问题,一次请求可以混合提出:
| 问题类型 | 选项 | 返回内容 |
|---|---|---|
choice |
调用方自定义(2~255 个) | 最可能的选项、置信度、各选项概率 |
noul |
是 / 否 | P(是) |
score |
2~10 个有序等级 | 期望等级、置信度、各等级概率 |
模型底座是 google/gemma-4-31B-it 的全量微调(29.29B 可训练参数),权重以 Apache-2.0 协议发布,详见 LICENSE。
为什么能登顶 Decision Index:三个关键设计
字母读出:答案概率直接来自模型自己的输出层
Sieve 不在模型外挂分类头,而是直接利用模型自己的词表输出层——把"选项标签"当作要预测的 token。这样:
- 支持 2~255 个选项,无需重新训练
- 概率天然与语言模型的对齐能力结合
- 读出规则(标签、prompt 格式、温度)全部打包在 head.pt 中,加载即生效
双向注意力:问题与状态互相"看见"
文本生成必须因果(只能看前面的 token),但决策模型不生成任何东西,所以可以放开:
- 10 层全局注意力层改为双向:每个 token 都能看到前后所有 token,状态在问题的"光照"下被解读
- 50 层滑窗层保持因果,与底座一致
- 多问题时,各问题的选项块互不可见,不会互相污染
训练与推理使用同一套注意力规则,规则记录在 head.pt 与 training_config.json 中,可交叉核对。
双顺序读数 + 温度校准:消除位置偏见,概率可信
模型往往偏爱"排在第一位"的选项。Sieve 的对策是:
- 读两遍:选项按原序读一遍、旋转半圈再读一遍,两次对数概率取平均,标签位置偏好被抵消
- 校准温度:全局 T = 1.27,另有 22 个按问题类别细分的温度(0.955~1.380),在 17,753 题的校准集上用 NLL 拟合
校准效果:校准集 ECE 仅 0.0083,接近理想校准。完整数字见 result.json。
成绩单:71.10 分、140,178 条请求零失败
📊 在 Decision Index 0.4.1 排行榜(2026-10-28 数据,243 个模型)上,Sieve-31B-v3 的 Full 分为 71.10,并列第一。Full 分来自维护者的私有测试(60% 同技能测试 + 40% 新领域任务)。
在公开的 0.3 套件(43 个基准、140,178 条可计分请求)上自测得 71.68,且无一截断、无一报错:
| 能力域 | 得分(机会校正后) |
|---|---|
| 工具与自动化 Tools & Automation | 86.9 |
| 检索与分类 Retrieval & Classification | 76.1 |
| 语言理解 Language Understanding | 71.6 |
| 艺术与人类品味 Arts & Human Taste | 62.3 |
| 知识与推理 Knowledge & Reasoning | 61.2 |
⚡ 速度也不慢(单张 RTX PRO 6000,逐请求实测):
- 中位数 219 ms / 请求,P95 约 1.5 s
- bf16 权重 58.3 GiB,服务峰值约 81.4 GiB——一张 96 GB 显卡可跑全部公开请求,短请求 80 GB 也够用
完整评测、延迟与显存数据见 result.json;各基准逐项分数在 README.md 的 Results 一节。
快速上手:安装与调用 Sieve-31B-v3
安装依赖并加载模型
pip install "sieve-decisions[serve]"
from sieve import load_sieve, decide
m = load_sieve("sthanika-ai/Sieve-31B-v3")
decide(m,
{"subject": "Duplicate charge on invoice 4411",
"body": "Billed twice. Refund today or we cancel."},
{"department": {"type": "choice",
"instructions": "Which team handles this?",
"criteria": {"billing": "invoices, payments, refunds",
"technical": "bugs and outages"}},
"churn_risk": {"type": "noul",
"instructions": "Does the customer threaten to cancel?"}})
两点提醒:
- 必须用 sieve 0.4.0+ 加载,它才会读取 head.pt 应用 prompt 格式、注意力规则、双顺序与温度;仅用 transformers 加载得到的是"没带决策读出"的语言模型
- 不想校准、要原始概率时用
load_sieve(..., temperature=1.0)
部署为服务 / 跑 Decision Index
sieve-serve --model sthanika-ai/Sieve-31B-v3
需要复现榜单成绩时,可按 README.md 中的 Decision Index 命令运行;仓库内还附带视觉引擎 decision_index_vision.py,把 Gemma-4 的视觉塔接进同一套字母读出,让模型"带着图片做决策"。
硬件与 token 限制速查
| 项目 | 数值 |
|---|---|
| 权重体积 | 58.3 GiB(bf16,13 个分片) |
| 推荐显存 | 96 GB(全部公开请求);短请求 80 GB |
| Token 上限 | 不声明,绝不截断;装不下会报错而非答错 |
| 训练长度 | 最长 16,384 token;公开请求最长约 54,000 token 也已应答 |
仓库文件导览:每个文件是干什么的
| 文件 | 内容 |
|---|---|
| model-00001-of-00013.safetensors 等 13 个分片 | bf16 全模型权重(0.3× 底座 + 0.7× 微调权重) |
| model.safetensors.index.json | 分片索引 |
| head.pt | 字母读出、注意力规则、服务策略、校准温度(核心!) |
| config.json | 模型结构:60 层解码器、10 层全注意力 + 50 层滑窗 |
| tokenizer.json、chat_template.jinja | 与底座一致的 tokenizer 与对话模板 |
| training_config.json | 训练配方:损失函数、数据增强、温度表 |
| training_metrics.json | 训练曲线与留出集监控 |
| result.json | 榜单、校准、延迟、显存全部数字 |
| provenance.json | 每个文件的 SHA-256 与库版本,可验证完整性 |
| decision_index_vision.py | 视觉版 Decision Index 引擎 |
使用限制与注意事项
score问题未训练:训练数据只有choice和noul,score是用同一读出临时支持的,可靠性弱于前两者- 选项上限 255:
choice问题超过 255 个选项会被直接拒绝 - 请求不会截断:装不下显存时报错,而不是给出错误答案
- 训练数据本身未公开,但 provenance.json 提供了每个数据文件的 SHA-256 以供核验;发布权重与选择规则在训练前就已固定,榜单基准从未参与选权重
小结
Sieve-31B-v3 证明了"决策不需要生成":字母读出 + 双向注意力 + 双顺序校准,让它以 71.10 分在 Decision Index 上并列第一,同时保持中位 219 ms 的响应速度与 0.0083 的校准误差。如果你的场景是"给状态、要概率、要快、要可信",值得一试。