什么是 decider:不生成文本、一次前向就完成类型化决策的LLM完全指南

原创2026-10-15 23:15:141,882 阅读

什么是 decider:不生成文本、一次前向就完成类型化决策的LLM完全指南

你是否想让大语言模型(LLM)直接输出结构化的决策,而不是生成一段再靠解析提取的文本?decider 正是这样的一族 LLM——它不生成文本,读取一个「状态(state)」和一组「类型化问题(typed questions)」,一次前向(one forward pass) 就为每个问题返回一份校准过的概率分布。本文带你从零看懂 decider 的原理、上手步骤、模型选型和真实能力边界。

decider 项目封面:一次前向、类型化决策、校准概率

它解决什么问题:为什么要「不生成文本」

普通 LLM 的工作方式是逐词生成文本,你再从文本里解析出答案。这套流程有三个固有开销:

  • 解码:自回归生成,逐 token 输出,慢;
  • 解析:输出可能格式跑偏,需要解析和容错;
  • 越界:模型可能说出你选项之外的内容。

decider 的思路是把「回答」变成一个固定答案集合上的概率分布:

一次前向读出每个答案槽位上各选项字母的 logit,softmax 后直接得到概率——没有解码、没有解析,输出永远落在你定义的选项之内。

decider 玩俄罗斯方块、打砖块、乒乓球、贪吃蛇和四子棋,每个格子展示最可能的三个选项与决策耗时

什么是类型化决策:Choice、Score、Noul 三种问题类型

每个「类型化决策」都是答案集合固定的问题,共三类(定义见 decider/systemone.py):

类型 含义 答案空间 典型场景
Choice 多选一 2–255 个选项 工单该转给哪个团队
Score 量表打分 2–10 个有描述的等级 客户愤怒程度:平静/烦躁/非常烦躁
Noul 是否判定 就是「是」的概率 用户是否要求退款

以客服场景为例,同一次请求可以同时问「哪个部门处理?」「是否要求退款?」「客户多烦躁?」,一次前向全部回答。

原理速览:一次前向如何答完所有问题

整体流程如下(对应 README.md 中的 How it works 一节):

  1. 渲染提示词:decider/prompt.py 把请求渲染成「一个问题一个答案槽」的文本;
  2. 一次前向:decider/model.py 读取每个答案槽位的隐藏状态;
  3. 投影到选项:将隐藏状态投影到每个选项对应的字母 token(A–J,再到 K–Z 与双字母 token,最多 255 个选项);
  4. softmax 出分布:在有效选项上按模型配置好的温度做 softmax,得到每题一份概率分布。

因为字母从未被逐词生成,所有槽位的答案天然出自同一次前向——这是「快」的根本原因。此外还支持:

  • 独立评分模式:每个问题单独成行评分,增删或调换问题不会改变其他答案;
  • Schema 缓存:固定题型(schema)的前缀只算一次,命中缓存后请求只跑状态部分,见 decider/schema_engine.py。

快速上手:安装 decider 并跑通第一个决策

安装只需一行(导入名是 decider):

pip install decider-ai

最小示例(完整写法见 decider/infer.py):

from decider.infer import Decider
d = Decider("Mapika/decider-2b")   # 首次自动下载权重;优先 CUDA,其次 MPS,最后 CPU
d.decide("My card was charged twice.",
         [{"question": "Which team?", "options": ["billing", "technical", "sales"]}])
# [{"choice": "billing", "confidence": 0.77,
#   "probs": {"billing": 0.77, "technical": 0.19, "sales": 0.04}}]

需要作为服务部署时,用 scripts/serve.sh 起 HTTP 服务,POST /v1/systemone 提供类型化接口、POST /decide 提供简单接口,实现见 decider/serve.py,限流、批处理与测量细节在 docs/SERVING.md。

想研究典型用法,examples/ 里有三个完整程序:置信度门控路由 routing_with_confidence.py、复合评分 composite_scoring.py、层级 Beam 搜索 hierarchical_beam.py。

如何选模型:从 2B 到 35B 快速对照

你的条件 推荐 关键点
CPU / 笔记本 decider-2b 或 4b 的 GGUF 文件 Q4_K_M 仅 1.3 GB / 2.7 GB,2B 单请求约 0.12–0.31 s
中小显存 decider-2b(约 4 GB)或 decider-4b(约 8.4 GB) 4b 留出集准确率 0.784
有 GPU、难题多(长政策文本、多跳推理) decider-12b JevBench 公开难题档 0.712
追求综合决策分 decider-chat-gemma4-31b Decision Index 70 强中第 2(57.33)
显存充足 decider-35b-a3b(MoE,总参 34.7B、激活 3B) 留出准确率 0.810,NVFP4 量化后约 19.6 GB

所有模型与指标的完整测量见 docs/RESULTS.md,单模型细节在 MODEL_CARD.md、MODEL_CARD_4B.md、MODEL_CARD_35B.md。训练自己的版本:decider/data/ 会自动下载并组装约 95 个公开数据集(配方见 decider/data/mixture.py),微调入口是 decider/train.py,教师标注数据在 teacher_data/。

实际能力:游戏、浏览器操作与决策质量

decider 不仅做分类路由。项目内置了十种文本游戏 + 超级玛丽(decider/games/),以及浏览器点击任务演示:

  • 游戏决策:v10 版本在 5x5 随机网格上选择向右移动时给出 90% 概率,而 v8 只有 37%(同一棋盘同一骰子):

decider-2b v8 与 v10 在同一 5x5 网格局面下的决策概率对比

  • 浏览器点击任务:在 MiniWoB++ 的 22 个真实 Chrome 点击任务上,v10 全部任务 93% 成功率(v8 为 83%):

decider 在 MiniWoB++ 浏览器点击任务上的 v8 与 v10 成功率对比(8 回合/任务)

概率校准:置信度数字该怎么读

「校准概率(calibrated probabilities)」是 decider 的招牌能力:模型说 77%,长期频率就应接近 77%。v10 通过 RL 目标直接训练校准——对每个动作预测其结果的概率,用精确概率律按对数得分打分:

v10 相比 v8 在行动结果信念与浏览器点击结果预测上的校准改进

读取置信度时注意(定义沿用 TypeSafe,自 1.3.0 起):

  • Choice / Score 的 confidence:(n·p_max − 1)/(n − 1),概率均匀时为 0,全押一项时为 1;
  • Noul 的 noul 值本身就是「是」的概率,无单独的 confidence;
  • 温度由模型配置 decider_config.json 指定,可按类型分别设置,decider/calibrate.py 可从标注记录拟合。

诚实的局限:一次前向做不到什么

官方在 README.md 中明确列出了限制,建议照此规划用途:

  • 多步算术/多跳推理做不到:没有思维链,GSM8K 类题目请拆成多个问题;
  • 难题上的校准偏弱:decider-2b 在 JevBench 公开难题上的 top-label ECE 曾达 0.31(v11 已降至 0.18);
  • 知识密集型选择题:弱于同规模底座的知识面,35B 才能明显拉开;
  • 仅英文;校准基于公开数据集,不等于你的流量;
  • 长 JSON 数组按位置取记录是最不准的输入形态,建议按键寻址。

仓库导航:关键文件速查

想了解 看这里
两种提示词布局、答案槽 decider/prompt.py
三类问题与类型化答案 decider/systemone.py
推理入口 Decider(decide / system_one / schema) decider/infer.py
CUDA graph、共享前缀等引擎细节 decider/engine.py
GGUF(llama.cpp)引擎 decider/engine_gguf.py
数据集与混合配方 decider/data/mixture.py
评测(准确率 / NLL / Brier / ECE) decider/evaluate.py
全套测量数据 docs/RESULTS.md
变更历史 docs/CHANGELOG.md

一句话总结:如果你需要一个「给选项、出概率、不跑偏」的决策 LLM——路由工单、判断意图、量表打分、低延迟在线决策——decider 用一次前向和校准概率给出了一个干净的答案。

登录后查看全文
decider