76.6%难集准确率意味着什么:decision-4b-v1.6全部基准成绩与v1.5对比深度解读

原创2026-11-14 13:08:06913 阅读
文章标签:人工智能大模型微调LoRA模型推理服务本地部署

76.6%难集准确率意味着什么:decision-4b-v1.6全部基准成绩与v1.5对比深度解读

decision-4b-v1.6(FlyMyJev-4B)是一款开源的 typed decisions 决策模型:给它一个状态(政策条文、票据、日志、待判答的对话)和一组封闭选项,它就为每个声明的选项直接输出概率,不生成任何文本。本文完整解读它在 JevBench 与 Decision Index 上的全部基准成绩,并与 v1.5 逐项对比,告诉你那个 76.6% 的难集准确率究竟说明了什么。

先看懂模型:不写一个字,只给概率

与"回答问题"的生成式模型不同,decision-4b-v1.6 的定位是结构化裁决:

  • 输入是一个 state + 一个带封闭选项集的问题(noul 是/否、choice 多选一、score 打分)
  • 输出是对恰好等于声明选项集的一组概率,选项集之外的标签在原理上出不来
  • 单次前向即可读出答案:模型取最后一个提示 token 的隐藏状态,投影到选项字母的 logits 上,按 model.json 中声明的温度(choice/score 为 1.45,noul 为 0.40)做 softmax
  • 超过 26 个选项时分两级读取(每块最多 26 个选项各走一遍,再对块首领走一遍),最多支持 676 个选项,输入最长 131,072 tokens

架构上,它在 Qwen3.5-4B 基座上挂了一个仅 14.4M 可训练参数的 LoRA(rank 16、alpha 32,配置见 adapter/adapter_config.json,权重见 adapter/adapter_model.safetensors),加载时折叠进基座。推理实现见 model.py,两级读取逻辑在 model.py。

76.6% 难集准确率意味着什么?

这个数字是 JevBench 公开 hard 层(111 题)上的成绩。要读懂它,需要看三组对照:

对照一:比冻结基座高 15.3 个百分点

未微调的冻结 Qwen3.5-4B 在同一难集上只有 61.3%。也就是说,76.6% 说明这套 LoRA 训练把 4B 小模型在难决策题上的表现拉升了约 15 分——这是"决策能力"可以被小模型高效学会的直接证据。

对照二:v1.5 到 v1.6,难集持平 = 没有能力回退

v1.6 的训练配方在 v1.5 基础上混入了大量新技能(意图路由、工具选择、蕴含检查、情绪与立场、智能家居状态、和弦识别、商品搜索等)。难集成绩 76.6% → 76.6% 完全持平,意味着:

  • 扩充数据混合没有稀释核心的决策能力(没有灾难性遗忘)
  • 同时 standard 层(72 题)与 easy 层(48 题)继续保持 100.0%,简单与中等难度题依旧零失手

对照三:真正的增量在别处

v1.6 的价值不在于难集分数,而在于广度和分布保真:

  • Decision Index 0.3 完整公开跑(140,178 个请求全部答完):38.24 → 42.69,提升 4.45 分
  • 自研 hard dev set(160 题、8 个任务族):70.6 → 71.9
  • 真实案例集 v1–v3(407 题):90.7 → 91.6
  • 对公开题目标注分布的保真度(1 − 平均全变差距离)达到 89.7,说明它给出的不是"碰对的标签",而是与金标准高度接近的概率分布

全部基准成绩一览表(v1.5 vs v1.6 vs 冻结基座)

📊 数据为项目方在单张 RTX 4090 上、用仓库自带的服务代码实测(见 README.md):

评测集 冻结 Qwen3.5-4B Decision 4B v1.5 v1.6
JevBench public · hard(111 题) 61.3 76.6 76.6
JevBench public · standard(72 题) 97.2 100.0 100.0
JevBench public · easy(48 题) 97.9 100.0 100.0
自研 hard dev set(160 题,8 个任务族) 42.5 70.6 71.9
真实案例集 v1–v3(407 题) 88.9 90.7 91.6
Decision Index 0.3 完整公开跑(140,178 请求) — 38.24 42.69
Decision Index 0.3 固定抽样(2,758 请求) — 38.99 43.91

v1.6 相比 v1.5 的 8 项关键技能提升

Decision Index 完整跑中(chance-corrected skill,已做随机猜测校正)提升最大的技能如下:

技能 v1.5 v1.6
和弦识别(chord recognition) 0.04 0.61
智能家居控制 0.10 0.28
幻觉检查 0.26 0.40
多选题(select-all-that-apply) 0.19 0.30
反讽识别 0.18 0.29
商品搜索相关性 0.26 0.36
工具调用决策 0.51 0.60
意图路由(CLINC150) 0.71 0.79

可以看到 v1.6 是一次全面拓宽:从接近随机的和弦识别(0.04)跃升到 0.61,连 CLINC150 这类原本已经很强的任务也继续上探。

成绩可信吗?评测方法做对了什么

  • 温度只在自己的校准集上拟合,从未在基准题上调整
  • 发布门槛(gates)在训练前就已声明,而不是跑完再挑
  • 训练数据与 JevBench、Decision Index 的全部题目做了 13-gram 重叠检查,基准题既未用于训练也未用于调参
  • 选型用的固定 2,758 题抽样仅用于在候选训练轮次之间选择,未回流进训练数据
  • 作者明确授权第三方独立复测并公布结果,见 EVALUATION-PERMISSION.md

这套"评测卫生"是小模型开源项目里相当少见的自律,也是成绩数字值得认真对待的前提。

性能与工程:一张 RTX 4090 上 p50 18.3 ms

  • 每个补齐后的输入长度预录一张 CUDA graph,单次短决策 p50 18.3 ms / p95 21.5 ms(对比 eager 路径的 56 ms),且与 eager 路径在 120/120 抽检条目上答案完全一致
  • 超 GPU 容量的输入会明确报容量上限,绝不静默截断
  • HTTP 服务见 server.py,提供 /v1/systemone 接口;进程内评测适配器见 jevbench_adapter.py
  • 官方 Runner 复现入口是 run_jevbench.py,无需改动 JevBench 注册表;所有输入与结果保留在本机
  • 每个文件都通过 manifest.json 的 SHA256 校验,加载前逐文件验证,防止包内容被篡改

局限与适用场景

⚠️ 需要注意边界:

  • 只有一轮前向、没有逐步推理:链式算术、代码追踪、象棋与专家级问题依然偏弱
  • 仅支持英文
  • 它是"裁决器",适合政策判定、意图路由、工具选择、相关性打分等答案空间封闭的场景,不适合开放式问答

小结

回到标题的问题:76.6% 的含义不是"卡住了",而是"稳住"。它说明 decision-4b-v1.6 在把训练混合大幅拓宽之后,核心难集能力纹丝未动(相对冻结基座仍有 15.3 分领先),真正的收益体现在 Decision Index 完整跑 +4.45 分、真实案例 +0.9 分以及 8 项技能的系统性跃升上。对于想在低延迟、单卡环境下做结构化决策的团队,这是一个数据干净、可复现、许可清晰(Apache-2.0,另见 LICENSE 与 NOTICE.md)的合格候选。

登录后查看全文
decision-4b-v1.6