76.6%难集准确率意味着什么:decision-4b-v1.6全部基准成绩与v1.5对比深度解读
76.6%难集准确率意味着什么:decision-4b-v1.6全部基准成绩与v1.5对比深度解读
decision-4b-v1.6(FlyMyJev-4B)是一款开源的 typed decisions 决策模型:给它一个状态(政策条文、票据、日志、待判答的对话)和一组封闭选项,它就为每个声明的选项直接输出概率,不生成任何文本。本文完整解读它在 JevBench 与 Decision Index 上的全部基准成绩,并与 v1.5 逐项对比,告诉你那个 76.6% 的难集准确率究竟说明了什么。
先看懂模型:不写一个字,只给概率
与"回答问题"的生成式模型不同,decision-4b-v1.6 的定位是结构化裁决:
- 输入是一个 state + 一个带封闭选项集的问题(
noul是/否、choice多选一、score打分) - 输出是对恰好等于声明选项集的一组概率,选项集之外的标签在原理上出不来
- 单次前向即可读出答案:模型取最后一个提示 token 的隐藏状态,投影到选项字母的 logits 上,按 model.json 中声明的温度(choice/score 为 1.45,noul 为 0.40)做 softmax
- 超过 26 个选项时分两级读取(每块最多 26 个选项各走一遍,再对块首领走一遍),最多支持 676 个选项,输入最长 131,072 tokens
架构上,它在 Qwen3.5-4B 基座上挂了一个仅 14.4M 可训练参数的 LoRA(rank 16、alpha 32,配置见 adapter/adapter_config.json,权重见 adapter/adapter_model.safetensors),加载时折叠进基座。推理实现见 model.py,两级读取逻辑在 model.py。
76.6% 难集准确率意味着什么?
这个数字是 JevBench 公开 hard 层(111 题)上的成绩。要读懂它,需要看三组对照:
对照一:比冻结基座高 15.3 个百分点
未微调的冻结 Qwen3.5-4B 在同一难集上只有 61.3%。也就是说,76.6% 说明这套 LoRA 训练把 4B 小模型在难决策题上的表现拉升了约 15 分——这是"决策能力"可以被小模型高效学会的直接证据。
对照二:v1.5 到 v1.6,难集持平 = 没有能力回退
v1.6 的训练配方在 v1.5 基础上混入了大量新技能(意图路由、工具选择、蕴含检查、情绪与立场、智能家居状态、和弦识别、商品搜索等)。难集成绩 76.6% → 76.6% 完全持平,意味着:
- 扩充数据混合没有稀释核心的决策能力(没有灾难性遗忘)
- 同时 standard 层(72 题)与 easy 层(48 题)继续保持 100.0%,简单与中等难度题依旧零失手
对照三:真正的增量在别处
v1.6 的价值不在于难集分数,而在于广度和分布保真:
- Decision Index 0.3 完整公开跑(140,178 个请求全部答完):38.24 → 42.69,提升 4.45 分
- 自研 hard dev set(160 题、8 个任务族):70.6 → 71.9
- 真实案例集 v1–v3(407 题):90.7 → 91.6
- 对公开题目标注分布的保真度(1 − 平均全变差距离)达到 89.7,说明它给出的不是"碰对的标签",而是与金标准高度接近的概率分布
全部基准成绩一览表(v1.5 vs v1.6 vs 冻结基座)
📊 数据为项目方在单张 RTX 4090 上、用仓库自带的服务代码实测(见 README.md):
| 评测集 | 冻结 Qwen3.5-4B | Decision 4B v1.5 | v1.6 |
|---|---|---|---|
| JevBench public · hard(111 题) | 61.3 | 76.6 | 76.6 |
| JevBench public · standard(72 题) | 97.2 | 100.0 | 100.0 |
| JevBench public · easy(48 题) | 97.9 | 100.0 | 100.0 |
| 自研 hard dev set(160 题,8 个任务族) | 42.5 | 70.6 | 71.9 |
| 真实案例集 v1–v3(407 题) | 88.9 | 90.7 | 91.6 |
| Decision Index 0.3 完整公开跑(140,178 请求) | — | 38.24 | 42.69 |
| Decision Index 0.3 固定抽样(2,758 请求) | — | 38.99 | 43.91 |
v1.6 相比 v1.5 的 8 项关键技能提升
Decision Index 完整跑中(chance-corrected skill,已做随机猜测校正)提升最大的技能如下:
| 技能 | v1.5 | v1.6 |
|---|---|---|
| 和弦识别(chord recognition) | 0.04 | 0.61 |
| 智能家居控制 | 0.10 | 0.28 |
| 幻觉检查 | 0.26 | 0.40 |
| 多选题(select-all-that-apply) | 0.19 | 0.30 |
| 反讽识别 | 0.18 | 0.29 |
| 商品搜索相关性 | 0.26 | 0.36 |
| 工具调用决策 | 0.51 | 0.60 |
| 意图路由(CLINC150) | 0.71 | 0.79 |
可以看到 v1.6 是一次全面拓宽:从接近随机的和弦识别(0.04)跃升到 0.61,连 CLINC150 这类原本已经很强的任务也继续上探。
成绩可信吗?评测方法做对了什么
- 温度只在自己的校准集上拟合,从未在基准题上调整
- 发布门槛(gates)在训练前就已声明,而不是跑完再挑
- 训练数据与 JevBench、Decision Index 的全部题目做了 13-gram 重叠检查,基准题既未用于训练也未用于调参
- 选型用的固定 2,758 题抽样仅用于在候选训练轮次之间选择,未回流进训练数据
- 作者明确授权第三方独立复测并公布结果,见 EVALUATION-PERMISSION.md
这套"评测卫生"是小模型开源项目里相当少见的自律,也是成绩数字值得认真对待的前提。
性能与工程:一张 RTX 4090 上 p50 18.3 ms
- 每个补齐后的输入长度预录一张 CUDA graph,单次短决策 p50 18.3 ms / p95 21.5 ms(对比 eager 路径的 56 ms),且与 eager 路径在 120/120 抽检条目上答案完全一致
- 超 GPU 容量的输入会明确报容量上限,绝不静默截断
- HTTP 服务见 server.py,提供
/v1/systemone接口;进程内评测适配器见 jevbench_adapter.py - 官方 Runner 复现入口是 run_jevbench.py,无需改动 JevBench 注册表;所有输入与结果保留在本机
- 每个文件都通过 manifest.json 的 SHA256 校验,加载前逐文件验证,防止包内容被篡改
局限与适用场景
⚠️ 需要注意边界:
- 只有一轮前向、没有逐步推理:链式算术、代码追踪、象棋与专家级问题依然偏弱
- 仅支持英文
- 它是"裁决器",适合政策判定、意图路由、工具选择、相关性打分等答案空间封闭的场景,不适合开放式问答
小结
回到标题的问题:76.6% 的含义不是"卡住了",而是"稳住"。它说明 decision-4b-v1.6 在把训练混合大幅拓宽之后,核心难集能力纹丝未动(相对冻结基座仍有 15.3 分领先),真正的收益体现在 Decision Index 完整跑 +4.45 分、真实案例 +0.9 分以及 8 项技能的系统性跃升上。对于想在低延迟、单卡环境下做结构化决策的团队,这是一个数据干净、可复现、许可清晰(Apache-2.0,另见 LICENSE 与 NOTICE.md)的合格候选。