decision-4b-v1.6核心机制拆解:只读选项字母的logits,凭什么输出精确概率分布

原创2026-11-14 19:55:031,455 阅读
文章标签:人工智能大模型微调LoRA模型推理服务本地部署

decision-4b-v1.6核心机制拆解:只读选项字母的logits,凭什么输出精确概率分布

decision-4b-v1.6 是一个面向「类型化决策」(typed decisions)的开源小模型:给它一段真实上下文(政策条款、日志、对话)和一个闭集选项的问题,它会对每个声明过的选项直接输出一份精确的概率分布——不生成任何文本。它的核心秘密简单而直接:只读取「选项字母」的 logits。本文从 prompt 结构讲到 softmax 温度校准,拆解这个小模型如何把"读分数"变成可信的概率。

🎯 它是什么:一个「只做决策」的小模型

和"一个词一个词往外蹦"的通用大语言模型不同,decision-4b-4b-v1.6 的输出从来不是自由文本,而是三种封闭题型之一的概率分布:

题型 例子 输出
noul(是/否) "该政策下能否退款?" true / false 两个概率
choice(单选) 意图路由、工具选择 覆盖全部声明选项的概率分布
score(评分) 相关性、情感打分 各分数档位的概率分布

仓库里的 example.json 就是一个真实请求:一段退款政策加上"能否退款?"的判断题,模型回答一对 true/false 概率。

底座是 Qwen/Qwen3.5-4B,本包只带一个很小的 LoRA 适配器(rank 16、alpha 32,可训练参数仅 14.4M)。配置见 adapter/adapter_config.json,权重在 adapter/adapter_model.safetensors。

🔑 核心机制一:把"生成答案"换成"读字母 logits"

这是整个项目最反直觉、也是标题里"只读"二字的由来:

  • 普通 LLM 推理:采样 → 生成 → 再采样,输出可能跑向任何位置;
  • decision-4b-v1.6:只做一次前向,然后从输出里"读"出几个选项字母的分数,到此为止。

具体流程(见 model.py):

  1. prompt 是一段聊天模板(关闭思考模式),其中用户消息是 JSON,含 evidence(上下文)、criterion(判定标准)、options(每个选项配一个大写字母 A、B、C…),系统指令要求"只回答该字母,不要解释"(model.py);
  2. 整段 prompt 跑一次前向,取最后一个 token 的隐藏状态;
  3. 在 fp32 下把这个状态投影到输出嵌入矩阵中对应选项字母的若干行——这 26 个字母行在加载时就被"切"出来了(model.py);
  4. 得到一个长度恰好等于选项数的 logit 向量,softmax 之后就是和为 1 的概率分布。

为什么说它"精确"?因为读取窗口只覆盖声明过的字母:

  • 集合外标签出不来——分布严格覆盖声明的选项;
  • 不生成任何自由文本——没有幻觉解释、没有多余输出;
  • 一次决策一次前向——概率分布是前向的原生产物,而不是从生成 token 里拼出来的。

🌡️ 核心机制二:softmax 温度——同一个模型,两种"决断力"

概率不是对 logit 直接 softmax,而是先除以温度(softmax(logits / T),model.py):

  • T 小 → 分布更"决断",胜者一骑绝尘;
  • T 大 → 分布更平滑,保留选项间差距。

model.json 里给的是两组值:

请求类型 温度 为什么
choice / score 1.45 在自有校准集上按 NLL 拟合,从不碰基准题
noul(是/否) 0.40 沿用 v1.5,让是/否答案保持"决断"

这种"按题型分别校准"的做法,是概率输出"可信"而不是"蒙一个数"的关键。

🧩 核心机制三:超过 26 个选项时的两级读取(上限 676)

一次前向最多读 26 个字母(A–Z)。要做 676 选 1 怎么办?答案是两级分层读取(model.py):

  1. 按给定顺序把选项切成每块至多 26 个;
  2. 每块跑一次前向,取出块内概率最高的"领跑者";
  3. 再对全体"领跑者"跑一次前向,决定概率质量在各块之间的分配;
  4. 两级相乘:P(选项) ∝ P(该块领跑者) × P(块内该选项) / P(领跑者)。

当两级 logits 一致时,这个公式与单次 softmax 完全等价——所以 ≤26 个选项走的就是单级路径,两级只是把容量扩展到 26² = 676 而不改变行为。

📊 凭什么相信这份概率分布:训练目标与基准背书

训练只跑了一轮(2,198 步,约 24.8M tokens),损失直接作用在选项字母 logits 上(交叉熵):样本给出唯一标准答案时,模型被强制拟合那一份精确分布;且 choice 选项每轮洗牌,防止模型靠位置"作弊"。

基准(单张 RTX 4090 实测,摘自 README.md):

评测集 冻结 Qwen3.5-4B v1.5 v1.6
JevBench public hard(111) 61.3 76.6 76.6
JevBench public standard(72) 97.2 100.0 100.0
JevBench public easy(48) 97.9 100.0 100.0
自有 hard 开发集(160) 42.5 70.6 71.9
Decision Index 0.3 完整跑(140,178 请求) — 38.24 42.69

更关键的是它对精确 gold 分布的保真度为 89.7(1 − 平均总变差距离)——不止"答案对",连"概率也对"。

⚡ 推理速度机制:LoRA 合并 + CUDA Graph

加载时有两个不起眼但收益很大的优化(model.py):

  • LoRA 在加载时折叠进底座(merge_and_unload),推理时零额外前向开销;
  • 每个填充长度一张 CUDA Graph(128 到 4096,见 model.json)。右侧填充不影响结果,因为整网都是因果注意力——填充落在最后一个真实 token 之后,"够不到"它。

效果:单卡 RTX 4090 上,短决策 p50 18.3 ms / p95 21.5 ms(不开图 56 ms),抽查 120/120 项与不开图路径答案完全一致。输入上限 131,072 tokens;装不下就报容量限制,绝不静默截断。

🚀 三步上手:克隆、安装、调用

git clone https://gitcode.com/hf_mirrors/flymy-ai/decision-4b-v1.6
cd decision-4b-v1.6
pip install -r requirements.txt

💡 小提醒:运行时需要一个 C 编译器(如 build-essential),首次请求会现场编译 Triton 内核。

import model                       # 本仓库的 model.py
m = model.load()                   # 对照 manifest.json 校验每个文件,首次自动下载固定版本的底座
m.decide("Refunds need a receipt and a purchase within 30 days. The customer bought 12 days ago and has no receipt.",
         {"type": "noul", "instructions": "Is a refund permitted under the policy?"})
# -> {'probabilities': {'true': ..., 'false': ...}, 'input_tokens': ..., 'seconds': ...}

跑起来时还有三件事值得知道:

  1. model.load() 会先对照 manifest.json 校验每个文件(大小 + SHA256)并拒绝符号链接,所以 Hugging Face 缓存快照需先用 hf download --local-dir 拷成真实目录;
  2. server.py 对外提供 /v1/systemone HTTP 服务,答案组装逻辑见 server.py;
  3. jevbench_adapter.py 与 run_jevbench.py 可接入官方 JevBench 运行器,无需改动其注册表。

📁 项目文件地图

文件 作用
model.py 推理核心:prompt 构建、字母 logits 读取、两级读取、CUDA Graph
model.json 底座版本、分题型温度、上下文上限、Graph 长度表
server.py HTTP 服务(/v1/systemone 协议)
jevbench_adapter.py 进程内 JevBench 适配器
run_jevbench.py 官方 JevBench Runner 的启动脚本
example.json 一个真实请求示例(是/否决策)
adapter/adapter_config.json LoRA 配置(rank 16 / alpha 32,14.4M 参数)
manifest.json 文件完整性清单(SHA256)
requirements.txt 固定版本依赖(torch 2.8.0、peft 0.21.0 等)
NOTICE.md / EVALUATION-PERMISSION.md 来源致谢与独立评测授权说明

一句话总结

decision-4b-v1.6 用一次前向证明了:闭集决策根本不需要"生成"——把决策写成固定 prompt、只读选项字母的 logits、再按题型校准温度,就能得到一个快(毫秒级)且概率分布精确可信的 4B 小模型。

登录后查看全文
decision-4b-v1.6