decision-4b-v1.6核心机制拆解:只读选项字母的logits,凭什么输出精确概率分布
decision-4b-v1.6核心机制拆解:只读选项字母的logits,凭什么输出精确概率分布
decision-4b-v1.6 是一个面向「类型化决策」(typed decisions)的开源小模型:给它一段真实上下文(政策条款、日志、对话)和一个闭集选项的问题,它会对每个声明过的选项直接输出一份精确的概率分布——不生成任何文本。它的核心秘密简单而直接:只读取「选项字母」的 logits。本文从 prompt 结构讲到 softmax 温度校准,拆解这个小模型如何把"读分数"变成可信的概率。
🎯 它是什么:一个「只做决策」的小模型
和"一个词一个词往外蹦"的通用大语言模型不同,decision-4b-4b-v1.6 的输出从来不是自由文本,而是三种封闭题型之一的概率分布:
| 题型 | 例子 | 输出 |
|---|---|---|
noul(是/否) |
"该政策下能否退款?" | true / false 两个概率 |
choice(单选) |
意图路由、工具选择 | 覆盖全部声明选项的概率分布 |
score(评分) |
相关性、情感打分 | 各分数档位的概率分布 |
仓库里的 example.json 就是一个真实请求:一段退款政策加上"能否退款?"的判断题,模型回答一对 true/false 概率。
底座是 Qwen/Qwen3.5-4B,本包只带一个很小的 LoRA 适配器(rank 16、alpha 32,可训练参数仅 14.4M)。配置见 adapter/adapter_config.json,权重在 adapter/adapter_model.safetensors。
🔑 核心机制一:把"生成答案"换成"读字母 logits"
这是整个项目最反直觉、也是标题里"只读"二字的由来:
- 普通 LLM 推理:采样 → 生成 → 再采样,输出可能跑向任何位置;
- decision-4b-v1.6:只做一次前向,然后从输出里"读"出几个选项字母的分数,到此为止。
具体流程(见 model.py):
- prompt 是一段聊天模板(关闭思考模式),其中用户消息是 JSON,含
evidence(上下文)、criterion(判定标准)、options(每个选项配一个大写字母 A、B、C…),系统指令要求"只回答该字母,不要解释"(model.py); - 整段 prompt 跑一次前向,取最后一个 token 的隐藏状态;
- 在 fp32 下把这个状态投影到输出嵌入矩阵中对应选项字母的若干行——这 26 个字母行在加载时就被"切"出来了(model.py);
- 得到一个长度恰好等于选项数的 logit 向量,softmax 之后就是和为 1 的概率分布。
为什么说它"精确"?因为读取窗口只覆盖声明过的字母:
- 集合外标签出不来——分布严格覆盖声明的选项;
- 不生成任何自由文本——没有幻觉解释、没有多余输出;
- 一次决策一次前向——概率分布是前向的原生产物,而不是从生成 token 里拼出来的。
🌡️ 核心机制二:softmax 温度——同一个模型,两种"决断力"
概率不是对 logit 直接 softmax,而是先除以温度(softmax(logits / T),model.py):
T小 → 分布更"决断",胜者一骑绝尘;T大 → 分布更平滑,保留选项间差距。
model.json 里给的是两组值:
| 请求类型 | 温度 | 为什么 |
|---|---|---|
choice / score |
1.45 | 在自有校准集上按 NLL 拟合,从不碰基准题 |
noul(是/否) |
0.40 | 沿用 v1.5,让是/否答案保持"决断" |
这种"按题型分别校准"的做法,是概率输出"可信"而不是"蒙一个数"的关键。
🧩 核心机制三:超过 26 个选项时的两级读取(上限 676)
一次前向最多读 26 个字母(A–Z)。要做 676 选 1 怎么办?答案是两级分层读取(model.py):
- 按给定顺序把选项切成每块至多 26 个;
- 每块跑一次前向,取出块内概率最高的"领跑者";
- 再对全体"领跑者"跑一次前向,决定概率质量在各块之间的分配;
- 两级相乘:
P(选项) ∝ P(该块领跑者) × P(块内该选项) / P(领跑者)。
当两级 logits 一致时,这个公式与单次 softmax 完全等价——所以 ≤26 个选项走的就是单级路径,两级只是把容量扩展到 26² = 676 而不改变行为。
📊 凭什么相信这份概率分布:训练目标与基准背书
训练只跑了一轮(2,198 步,约 24.8M tokens),损失直接作用在选项字母 logits 上(交叉熵):样本给出唯一标准答案时,模型被强制拟合那一份精确分布;且 choice 选项每轮洗牌,防止模型靠位置"作弊"。
基准(单张 RTX 4090 实测,摘自 README.md):
| 评测集 | 冻结 Qwen3.5-4B | v1.5 | v1.6 |
|---|---|---|---|
| JevBench public hard(111) | 61.3 | 76.6 | 76.6 |
| JevBench public standard(72) | 97.2 | 100.0 | 100.0 |
| JevBench public easy(48) | 97.9 | 100.0 | 100.0 |
| 自有 hard 开发集(160) | 42.5 | 70.6 | 71.9 |
| Decision Index 0.3 完整跑(140,178 请求) | — | 38.24 | 42.69 |
更关键的是它对精确 gold 分布的保真度为 89.7(1 − 平均总变差距离)——不止"答案对",连"概率也对"。
⚡ 推理速度机制:LoRA 合并 + CUDA Graph
加载时有两个不起眼但收益很大的优化(model.py):
- LoRA 在加载时折叠进底座(
merge_and_unload),推理时零额外前向开销; - 每个填充长度一张 CUDA Graph(128 到 4096,见 model.json)。右侧填充不影响结果,因为整网都是因果注意力——填充落在最后一个真实 token 之后,"够不到"它。
效果:单卡 RTX 4090 上,短决策 p50 18.3 ms / p95 21.5 ms(不开图 56 ms),抽查 120/120 项与不开图路径答案完全一致。输入上限 131,072 tokens;装不下就报容量限制,绝不静默截断。
🚀 三步上手:克隆、安装、调用
git clone https://gitcode.com/hf_mirrors/flymy-ai/decision-4b-v1.6
cd decision-4b-v1.6
pip install -r requirements.txt
💡 小提醒:运行时需要一个 C 编译器(如
build-essential),首次请求会现场编译 Triton 内核。
import model # 本仓库的 model.py
m = model.load() # 对照 manifest.json 校验每个文件,首次自动下载固定版本的底座
m.decide("Refunds need a receipt and a purchase within 30 days. The customer bought 12 days ago and has no receipt.",
{"type": "noul", "instructions": "Is a refund permitted under the policy?"})
# -> {'probabilities': {'true': ..., 'false': ...}, 'input_tokens': ..., 'seconds': ...}
跑起来时还有三件事值得知道:
model.load()会先对照 manifest.json 校验每个文件(大小 + SHA256)并拒绝符号链接,所以 Hugging Face 缓存快照需先用hf download --local-dir拷成真实目录;- server.py 对外提供
/v1/systemoneHTTP 服务,答案组装逻辑见 server.py; - jevbench_adapter.py 与 run_jevbench.py 可接入官方 JevBench 运行器,无需改动其注册表。
📁 项目文件地图
| 文件 | 作用 |
|---|---|
| model.py | 推理核心:prompt 构建、字母 logits 读取、两级读取、CUDA Graph |
| model.json | 底座版本、分题型温度、上下文上限、Graph 长度表 |
| server.py | HTTP 服务(/v1/systemone 协议) |
| jevbench_adapter.py | 进程内 JevBench 适配器 |
| run_jevbench.py | 官方 JevBench Runner 的启动脚本 |
| example.json | 一个真实请求示例(是/否决策) |
| adapter/adapter_config.json | LoRA 配置(rank 16 / alpha 32,14.4M 参数) |
| manifest.json | 文件完整性清单(SHA256) |
| requirements.txt | 固定版本依赖(torch 2.8.0、peft 0.21.0 等) |
| NOTICE.md / EVALUATION-PERMISSION.md | 来源致谢与独立评测授权说明 |
一句话总结
decision-4b-v1.6 用一次前向证明了:闭集决策根本不需要"生成"——把决策写成固定 prompt、只读选项字母的 logits、再按题型校准温度,就能得到一个快(毫秒级)且概率分布精确可信的 4B 小模型。