JEV-9B vs JEV-27B选型清单:12个维度全面对比,你的场景该选哪个?

原创2026-10-19 17:07:122,264 阅读

JEV-9B vs JEV-27B选型清单:12个维度全面对比,你的场景该选哪个?

在 AutoTrust 开源的决策模型家族里,JEV-9B 是第一款把 System 1 快速决策和 System 2 推理生成整合进同一套权重的模型,而 JEV-27B 是其第二代继任者:相同的 Blocks of Experts 配方、相同的 API,只是骨干更大。两者的区别可以一句话说清——你的场景是高并发、低延迟、短选项列表的决策,选 JEV-9B;场景是长选项列表、陌生任务、代码规则检查或需要更强代码生成,选 JEV-27B。本文用 12 个维度把这两颗"决策芯片"掰开对比,帮你 10 分钟做出选型决定。

30 秒速览:先给结论

你的场景 推荐
内容路由、话题分流、评论审核,选项 ≤ 8 个,QPS 要求高 ⚡ JEV-9B
选项超过 8 个的长列表决策 🎯 JEV-27B
训练时从未见过的任务家族(OOD) 🎯 JEV-27B
代码规则检查(如品牌整数、范围校验)、欺诈筛查 🎯 JEV-27B
需要 System 2 写代码 / 长链推理 🎯 JEV-27B
显存紧张(单卡 24 GB 级)、预算敏感 ⚡ JEV-9B
机器人视觉判断、截图点击等 VL 决策(已有开源 demo) ⚡ JEV-9B

一句话:JEV-9B 赢在快和轻,JEV-27B 赢在准和泛化。

12 个维度一张表:JEV-9B vs JEV-27B 核心对比

以下数据来自同一 held-out 测试集(test_set_30k,29,955 行)和同一独立基准(human gold labels,未出现在训练数据中):

# 维度 JEV-9B JEV-27B 领先者
1 骨干模型 Qwen3.5-9B Qwen3.8-27B —
2 决策保真度:对 TypeSafe Jev 1.13 的均值 KL(越低越像) ≈ 0.019 ≈ 0.017 🥇 27B
3 新任务泛化:未见任务家族的 OOD KL(越低越好) 0.234 0.104 🥇 27B
4 新任务准确率:OOD top-1(越高越好) 0.918 0.942 🥇 27B
5 choice top-1 与教师一致率 90.2% 90.5% 🥇 27B
6 打分误差:score 期望值 MAE(0–5 分制,越低越好) 0.103 0.098 🥇 27B
7 是非判别力:noul AUROC 0.994 0.995 打平
8 校准误差 ECE(越低越好) 0.0007 0.0009 🥇 9B
9 选项顺序敏感度:仅打乱顺序时 top-1 翻转率(越低越好) 3.9% 2.9% 🥇 27B
10 独立基准(16 选项)达到教师准确率的比例 90% 96% 🥇 27B
11 System 2 代码生成:HumanEval pass@1 70.7% 78.0% 🥇 27B
12 速度与体量:单决策延迟 / 下载体积 ≈ 90 ms / 18 GB 137 ms / 54 GB 🥇 9B

得分:JEV-27B 8 : 2 JEV-9B——但第 12 项的"快"在工程上往往是最值钱的:JEV-9B 在单张 B200 上跑完 14,400 条基准决策只用 42 秒,JEV-27B 需要 110 秒,快 2.6 倍;批处理下 2.5 ms/决策(约 400 决策/秒),大约是托管 Jev API 独立基准吞吐的 15 倍。

维度一:决策质量——"像不像" vs "对不对"

两个模型都是对闭源教师 TypeSafe Jev 1.13 的输出分布做知识蒸馏的学生模型,衡量"像不像"用 KL 散度(0 = 完全一致):

  • Jev 标注行:JEV-9B ≈ 0.019,JEV-27B ≈ 0.017。含义是观察者需要约 54 条(9B)或 60 条(27B)采样决策才能积累 1 nat 的"这是谁产出的"证据——在这个分辨率下几乎不可区分。
  • 真正的分水岭在 OOD:对训练中从未见过的任务家族(13,058 行程序化 ground truth 标签),JEV-9B 的 KL 是 0.234,JEV-27B 只有 0.104,直接砍掉一半以上;top-1 从 0.918 提到 0.942。
  • 一个有趣的反例:校准误差 ECE 反而是 JEV-9B 更低(0.0007 vs 0.0009),两者拟合温度都接近 1.00,"说的 80% 就是 80%",都不需要事后修正。

原始评测细节可查阅 reports/eval_v08_bundle.md(9B 发布版)与 reports/eval_27b_bundle.md(27B)。

维度二:压力测试——独立基准下的真实差距

在带人工金标签的独立基准(CLINC-150、MTOP、GoEmotions、DBpedia + 金融推文)上,选项越多、干扰项越近,两个模型的差距越明显:

选项数 JEV-9B 准确率 JEV-27B 准确率 教师 Jev
2 0.868 0.876 0.890
4 0.774 0.784 0.801
8 0.735 0.767 0.782
16 0.694(90%) 0.740(96%) 0.769

两个"9B 特有问题"值得记住:

  1. 更怕选项顺序:16 选项下仅打乱顺序,JEV-9B 有 11.5% 的答案会翻转,教师是 7.0%,JEV-27B 是 7.4%。如果你的选项列表顺序不稳定,27B 更稳。
  2. 难例置信度偏低:真实例子里,JEV-9B 漏掉一个违反"品牌、范围校验整数"规则的 TypeScript 改写(0.33,JEV-27B 0.93),对 CEO 电汇欺诈邮件的标记也只有 0.56(JEV-27B 0.84)。在新鲜的 HN / V2EX 例子上(非基准,仅作示意),总比分 JEV-9B 92/96,JEV-27B 95/96——差距全部出现在更难的任务上。逐条概率分布见 reports/realworld_9b.json 和 reports/realworld_27b.json。

维度三:System 2——代码生成差距 7.3 个百分点

两个模型共用同一个"干净"的骨干做文本生成(System 2 路径完全不加载决策适配器),所以差距直接来自骨干:

权重 HumanEval pass@1
Qwen3.5-9B(= JEV-9B 的 System 2) 70.7%(116/164)
Qwen3.8-27B(= JEV-27B 的 System 2) 78.0%(128/164)

JEV-9B 的全部 164 条补全与基座模型逐字节一致(见 reports/humaneval_base.json、reports/humaneval_27b_base.json)。另外,JEV-9B 在 vLLM 上跑完 164 条 HumanEval 只要 3.3 秒,比 PyTorch 路径快约 50 倍——如果 System 2 是高频负载,9B 的生成吞吐优势依旧明显。

维度四:部署成本——18 GB 对 54 GB

项目 JEV-9B JEV-27B
下载体积(骨干 + 适配器) 18 GB 54 GB
可训练参数(System 1 块) 40.2 M 108.9 M
训练算力 ≈ 3 B200 小时 ≈ 9.2 B200 小时
批处理(128/批)每决策延迟 2.5 ms 4.2 ms
单请求中位延迟 ≈ 90 ms 137 ms

JEV-9B 的决策适配器只有约 154 MB(adapter/),骨干与 Qwen3.5-9B 逐位一致(可对照 config.json),所以"加决策能力"对生成分支零代价:HumanEval 前后同为 70.7%。而如果把 System 1 块直接折叠进骨干,会掉到 61.6%——这就是 Blocks of Experts 方案保持两块分离的原因。

两个模型都用同一个 vLLM 引擎、同一套 API 服务:普通请求走基座 lm_head(System 2),指定 jev-decision LoRA 模块的请求走 24 槽决策头(System 1),一次 prefill 出完整概率分布,无需解码。JEV-9B 的启动命令大致是:

vllm serve JEV-9B --served-model-name autotrust/JEV-9B \
    --enable-lora --max-lora-rank 32 \
    --lora-modules jev-decision=JEV-9B/adapter_vllm \
    --logprobs-mode processed_logprobs --max-model-len 4096

隐藏彩蛋:JEV-9B 会"看"了

JEV-9B 还带视觉决策能力(27B 仓库暂无对应发布):摄像头图片或截图进来,一次前向(约 0.2 s)给出每个动作的概率。MuJoCo 机械臂抓取放置 20 个随机场景完成 10 次,浏览器截图点击任务 60 条多步任务完成 95%(3–7 次点击/条,约 0.2 s/次)。图片评测结果在 reports/vl/(VL-RewardBench 74.3%、AgentRewardBench AUROC 0.91),demo 代码在 vl/demos/,一键启动脚本是 vl/serve.sh。如果你的场景涉及机器人或 computer use,JEV-9B 是目前这个家族里唯一开箱即用的选择。

选型建议:按场景对号入座

  • 选 JEV-9B:高 QPS 路由/审核/工单分诊、选项 ≤ 8、延迟敏感、单卡显存有限、需要视觉决策 demo,或你想用最快速度原型验证"决策模型"这条技术路线。
  • 选 JEV-27B:长选项列表(> 8)、陌生任务家族、代码规则检查、欺诈/安全筛查等"置信度必须站得住"的场景,以及依赖 System 2 写代码与深度推理的场景。
  • 混合部署:两者 API 完全相同,可以用 JEV-9B 做第一级快速过滤(低延迟、低成本),置信度不足再路由给 JEV-27B 或 System 2——同一 vLLM 部署里甚至可以对同一骨干做"System 1 自信就答、不自信升级 System 2"的置信门控。

选型前必读的 4 个注意事项 ⚠️

  1. 它是蒸馏学生,不是独立法官:教师 Jev 的多跳推理、算术、计数盲点会被学生继承——"不可区分"是 53 个训练域内 Jev 标注行上的 KL 结论,不是对一切输入的背书。
  2. 速度数字不是同口径:本地延迟不含网络跳数,托管 API 的第三方数字包含网络、TLS 和排队。
  3. choice 一致率有天花板:教师分布本身很软(top-1 中位概率 0.70),教师前两名差距 < 0.1 的行上,任何忠实模仿者都只能接近随机命中。
  4. 英文为主:语料是英文的,中文场景(如 V2EX 示例)仅为示意,未系统度量。

完整指标、训练轨迹与限制条款见 README.md 的 Headline results 与 Limitations 章节,数据侧审计可查 reports/data_audit.md,各域逐类别分数见 reports/eval_s2_9b.md 与 reports/eval_s2_27b.md。

最后一句话总结:预算和延迟优先,选 JEV-9B;准确率和泛化优先,选 JEV-27B;两者同构同 API,随时可以无缝替换或组合部署。

登录后查看全文
JEV-9B