什么是 decider:不生成文本、一次前向就完成类型化决策的LLM完全指南
什么是 decider:不生成文本、一次前向就完成类型化决策的LLM完全指南
你是否想让大语言模型(LLM)直接输出结构化的决策,而不是生成一段再靠解析提取的文本?decider 正是这样的一族 LLM——它不生成文本,读取一个「状态(state)」和一组「类型化问题(typed questions)」,一次前向(one forward pass) 就为每个问题返回一份校准过的概率分布。本文带你从零看懂 decider 的原理、上手步骤、模型选型和真实能力边界。
它解决什么问题:为什么要「不生成文本」
普通 LLM 的工作方式是逐词生成文本,你再从文本里解析出答案。这套流程有三个固有开销:
- 解码:自回归生成,逐 token 输出,慢;
- 解析:输出可能格式跑偏,需要解析和容错;
- 越界:模型可能说出你选项之外的内容。
decider 的思路是把「回答」变成一个固定答案集合上的概率分布:
一次前向读出每个答案槽位上各选项字母的 logit,softmax 后直接得到概率——没有解码、没有解析,输出永远落在你定义的选项之内。
什么是类型化决策:Choice、Score、Noul 三种问题类型
每个「类型化决策」都是答案集合固定的问题,共三类(定义见 decider/systemone.py):
| 类型 | 含义 | 答案空间 | 典型场景 |
|---|---|---|---|
| Choice | 多选一 | 2–255 个选项 | 工单该转给哪个团队 |
| Score | 量表打分 | 2–10 个有描述的等级 | 客户愤怒程度:平静/烦躁/非常烦躁 |
| Noul | 是否判定 | 就是「是」的概率 | 用户是否要求退款 |
以客服场景为例,同一次请求可以同时问「哪个部门处理?」「是否要求退款?」「客户多烦躁?」,一次前向全部回答。
原理速览:一次前向如何答完所有问题
整体流程如下(对应 README.md 中的 How it works 一节):
- 渲染提示词:decider/prompt.py 把请求渲染成「一个问题一个答案槽」的文本;
- 一次前向:decider/model.py 读取每个答案槽位的隐藏状态;
- 投影到选项:将隐藏状态投影到每个选项对应的字母 token(A–J,再到 K–Z 与双字母 token,最多 255 个选项);
- softmax 出分布:在有效选项上按模型配置好的温度做 softmax,得到每题一份概率分布。
因为字母从未被逐词生成,所有槽位的答案天然出自同一次前向——这是「快」的根本原因。此外还支持:
- 独立评分模式:每个问题单独成行评分,增删或调换问题不会改变其他答案;
- Schema 缓存:固定题型(schema)的前缀只算一次,命中缓存后请求只跑状态部分,见 decider/schema_engine.py。
快速上手:安装 decider 并跑通第一个决策
安装只需一行(导入名是 decider):
pip install decider-ai
最小示例(完整写法见 decider/infer.py):
from decider.infer import Decider
d = Decider("Mapika/decider-2b") # 首次自动下载权重;优先 CUDA,其次 MPS,最后 CPU
d.decide("My card was charged twice.",
[{"question": "Which team?", "options": ["billing", "technical", "sales"]}])
# [{"choice": "billing", "confidence": 0.77,
# "probs": {"billing": 0.77, "technical": 0.19, "sales": 0.04}}]
需要作为服务部署时,用 scripts/serve.sh 起 HTTP 服务,POST /v1/systemone 提供类型化接口、POST /decide 提供简单接口,实现见 decider/serve.py,限流、批处理与测量细节在 docs/SERVING.md。
想研究典型用法,examples/ 里有三个完整程序:置信度门控路由 routing_with_confidence.py、复合评分 composite_scoring.py、层级 Beam 搜索 hierarchical_beam.py。
如何选模型:从 2B 到 35B 快速对照
| 你的条件 | 推荐 | 关键点 |
|---|---|---|
| CPU / 笔记本 | decider-2b 或 4b 的 GGUF 文件 | Q4_K_M 仅 1.3 GB / 2.7 GB,2B 单请求约 0.12–0.31 s |
| 中小显存 | decider-2b(约 4 GB)或 decider-4b(约 8.4 GB) | 4b 留出集准确率 0.784 |
| 有 GPU、难题多(长政策文本、多跳推理) | decider-12b | JevBench 公开难题档 0.712 |
| 追求综合决策分 | decider-chat-gemma4-31b | Decision Index 70 强中第 2(57.33) |
| 显存充足 | decider-35b-a3b(MoE,总参 34.7B、激活 3B) | 留出准确率 0.810,NVFP4 量化后约 19.6 GB |
所有模型与指标的完整测量见 docs/RESULTS.md,单模型细节在 MODEL_CARD.md、MODEL_CARD_4B.md、MODEL_CARD_35B.md。训练自己的版本:decider/data/ 会自动下载并组装约 95 个公开数据集(配方见 decider/data/mixture.py),微调入口是 decider/train.py,教师标注数据在 teacher_data/。
实际能力:游戏、浏览器操作与决策质量
decider 不仅做分类路由。项目内置了十种文本游戏 + 超级玛丽(decider/games/),以及浏览器点击任务演示:
- 游戏决策:v10 版本在 5x5 随机网格上选择向右移动时给出 90% 概率,而 v8 只有 37%(同一棋盘同一骰子):
- 浏览器点击任务:在 MiniWoB++ 的 22 个真实 Chrome 点击任务上,v10 全部任务 93% 成功率(v8 为 83%):
- 训练配方透明:数据构建、RL 阶段(v8→v10)分别在 docs/RL.md 与 docs/HISTORY.md 中完整记录,演示片段说明在 docs/DEMOS.md。
概率校准:置信度数字该怎么读
「校准概率(calibrated probabilities)」是 decider 的招牌能力:模型说 77%,长期频率就应接近 77%。v10 通过 RL 目标直接训练校准——对每个动作预测其结果的概率,用精确概率律按对数得分打分:
读取置信度时注意(定义沿用 TypeSafe,自 1.3.0 起):
- Choice / Score 的
confidence:(n·p_max − 1)/(n − 1),概率均匀时为 0,全押一项时为 1; - Noul 的
noul值本身就是「是」的概率,无单独的 confidence; - 温度由模型配置
decider_config.json指定,可按类型分别设置,decider/calibrate.py 可从标注记录拟合。
诚实的局限:一次前向做不到什么
官方在 README.md 中明确列出了限制,建议照此规划用途:
- 多步算术/多跳推理做不到:没有思维链,GSM8K 类题目请拆成多个问题;
- 难题上的校准偏弱:decider-2b 在 JevBench 公开难题上的 top-label ECE 曾达 0.31(v11 已降至 0.18);
- 知识密集型选择题:弱于同规模底座的知识面,35B 才能明显拉开;
- 仅英文;校准基于公开数据集,不等于你的流量;
- 长 JSON 数组按位置取记录是最不准的输入形态,建议按键寻址。
仓库导航:关键文件速查
| 想了解 | 看这里 |
|---|---|
| 两种提示词布局、答案槽 | decider/prompt.py |
| 三类问题与类型化答案 | decider/systemone.py |
推理入口 Decider(decide / system_one / schema) |
decider/infer.py |
| CUDA graph、共享前缀等引擎细节 | decider/engine.py |
| GGUF(llama.cpp)引擎 | decider/engine_gguf.py |
| 数据集与混合配方 | decider/data/mixture.py |
| 评测(准确率 / NLL / Brier / ECE) | decider/evaluate.py |
| 全套测量数据 | docs/RESULTS.md |
| 变更历史 | docs/CHANGELOG.md |
一句话总结:如果你需要一个「给选项、出概率、不跑偏」的决策 LLM——路由工单、判断意图、量表打分、低延迟在线决策——decider 用一次前向和校准概率给出了一个干净的答案。




