JEV-9B vs JEV-27B选型清单:12个维度全面对比,你的场景该选哪个?
JEV-9B vs JEV-27B选型清单:12个维度全面对比,你的场景该选哪个?
在 AutoTrust 开源的决策模型家族里,JEV-9B 是第一款把 System 1 快速决策和 System 2 推理生成整合进同一套权重的模型,而 JEV-27B 是其第二代继任者:相同的 Blocks of Experts 配方、相同的 API,只是骨干更大。两者的区别可以一句话说清——你的场景是高并发、低延迟、短选项列表的决策,选 JEV-9B;场景是长选项列表、陌生任务、代码规则检查或需要更强代码生成,选 JEV-27B。本文用 12 个维度把这两颗"决策芯片"掰开对比,帮你 10 分钟做出选型决定。
30 秒速览:先给结论
| 你的场景 | 推荐 |
|---|---|
| 内容路由、话题分流、评论审核,选项 ≤ 8 个,QPS 要求高 | ⚡ JEV-9B |
| 选项超过 8 个的长列表决策 | 🎯 JEV-27B |
| 训练时从未见过的任务家族(OOD) | 🎯 JEV-27B |
| 代码规则检查(如品牌整数、范围校验)、欺诈筛查 | 🎯 JEV-27B |
| 需要 System 2 写代码 / 长链推理 | 🎯 JEV-27B |
| 显存紧张(单卡 24 GB 级)、预算敏感 | ⚡ JEV-9B |
| 机器人视觉判断、截图点击等 VL 决策(已有开源 demo) | ⚡ JEV-9B |
一句话:JEV-9B 赢在快和轻,JEV-27B 赢在准和泛化。
12 个维度一张表:JEV-9B vs JEV-27B 核心对比
以下数据来自同一 held-out 测试集(test_set_30k,29,955 行)和同一独立基准(human gold labels,未出现在训练数据中):
| # | 维度 | JEV-9B | JEV-27B | 领先者 |
|---|---|---|---|---|
| 1 | 骨干模型 | Qwen3.5-9B | Qwen3.8-27B | — |
| 2 | 决策保真度:对 TypeSafe Jev 1.13 的均值 KL(越低越像) | ≈ 0.019 | ≈ 0.017 | 🥇 27B |
| 3 | 新任务泛化:未见任务家族的 OOD KL(越低越好) | 0.234 | 0.104 | 🥇 27B |
| 4 | 新任务准确率:OOD top-1(越高越好) | 0.918 | 0.942 | 🥇 27B |
| 5 | choice top-1 与教师一致率 |
90.2% | 90.5% | 🥇 27B |
| 6 | 打分误差:score 期望值 MAE(0–5 分制,越低越好) |
0.103 | 0.098 | 🥇 27B |
| 7 | 是非判别力:noul AUROC |
0.994 | 0.995 | 打平 |
| 8 | 校准误差 ECE(越低越好) | 0.0007 | 0.0009 | 🥇 9B |
| 9 | 选项顺序敏感度:仅打乱顺序时 top-1 翻转率(越低越好) | 3.9% | 2.9% | 🥇 27B |
| 10 | 独立基准(16 选项)达到教师准确率的比例 | 90% | 96% | 🥇 27B |
| 11 | System 2 代码生成:HumanEval pass@1 | 70.7% | 78.0% | 🥇 27B |
| 12 | 速度与体量:单决策延迟 / 下载体积 | ≈ 90 ms / 18 GB | 137 ms / 54 GB | 🥇 9B |
得分:JEV-27B 8 : 2 JEV-9B——但第 12 项的"快"在工程上往往是最值钱的:JEV-9B 在单张 B200 上跑完 14,400 条基准决策只用 42 秒,JEV-27B 需要 110 秒,快 2.6 倍;批处理下 2.5 ms/决策(约 400 决策/秒),大约是托管 Jev API 独立基准吞吐的 15 倍。
维度一:决策质量——"像不像" vs "对不对"
两个模型都是对闭源教师 TypeSafe Jev 1.13 的输出分布做知识蒸馏的学生模型,衡量"像不像"用 KL 散度(0 = 完全一致):
- Jev 标注行:JEV-9B ≈ 0.019,JEV-27B ≈ 0.017。含义是观察者需要约 54 条(9B)或 60 条(27B)采样决策才能积累 1 nat 的"这是谁产出的"证据——在这个分辨率下几乎不可区分。
- 真正的分水岭在 OOD:对训练中从未见过的任务家族(13,058 行程序化 ground truth 标签),JEV-9B 的 KL 是 0.234,JEV-27B 只有 0.104,直接砍掉一半以上;top-1 从 0.918 提到 0.942。
- 一个有趣的反例:校准误差 ECE 反而是 JEV-9B 更低(0.0007 vs 0.0009),两者拟合温度都接近 1.00,"说的 80% 就是 80%",都不需要事后修正。
原始评测细节可查阅 reports/eval_v08_bundle.md(9B 发布版)与 reports/eval_27b_bundle.md(27B)。
维度二:压力测试——独立基准下的真实差距
在带人工金标签的独立基准(CLINC-150、MTOP、GoEmotions、DBpedia + 金融推文)上,选项越多、干扰项越近,两个模型的差距越明显:
| 选项数 | JEV-9B 准确率 | JEV-27B 准确率 | 教师 Jev |
|---|---|---|---|
| 2 | 0.868 | 0.876 | 0.890 |
| 4 | 0.774 | 0.784 | 0.801 |
| 8 | 0.735 | 0.767 | 0.782 |
| 16 | 0.694(90%) | 0.740(96%) | 0.769 |
两个"9B 特有问题"值得记住:
- 更怕选项顺序:16 选项下仅打乱顺序,JEV-9B 有 11.5% 的答案会翻转,教师是 7.0%,JEV-27B 是 7.4%。如果你的选项列表顺序不稳定,27B 更稳。
- 难例置信度偏低:真实例子里,JEV-9B 漏掉一个违反"品牌、范围校验整数"规则的 TypeScript 改写(0.33,JEV-27B 0.93),对 CEO 电汇欺诈邮件的标记也只有 0.56(JEV-27B 0.84)。在新鲜的 HN / V2EX 例子上(非基准,仅作示意),总比分 JEV-9B 92/96,JEV-27B 95/96——差距全部出现在更难的任务上。逐条概率分布见 reports/realworld_9b.json 和 reports/realworld_27b.json。
维度三:System 2——代码生成差距 7.3 个百分点
两个模型共用同一个"干净"的骨干做文本生成(System 2 路径完全不加载决策适配器),所以差距直接来自骨干:
| 权重 | HumanEval pass@1 |
|---|---|
| Qwen3.5-9B(= JEV-9B 的 System 2) | 70.7%(116/164) |
| Qwen3.8-27B(= JEV-27B 的 System 2) | 78.0%(128/164) |
JEV-9B 的全部 164 条补全与基座模型逐字节一致(见 reports/humaneval_base.json、reports/humaneval_27b_base.json)。另外,JEV-9B 在 vLLM 上跑完 164 条 HumanEval 只要 3.3 秒,比 PyTorch 路径快约 50 倍——如果 System 2 是高频负载,9B 的生成吞吐优势依旧明显。
维度四:部署成本——18 GB 对 54 GB
| 项目 | JEV-9B | JEV-27B |
|---|---|---|
| 下载体积(骨干 + 适配器) | 18 GB | 54 GB |
| 可训练参数(System 1 块) | 40.2 M | 108.9 M |
| 训练算力 | ≈ 3 B200 小时 | ≈ 9.2 B200 小时 |
| 批处理(128/批)每决策延迟 | 2.5 ms | 4.2 ms |
| 单请求中位延迟 | ≈ 90 ms | 137 ms |
JEV-9B 的决策适配器只有约 154 MB(adapter/),骨干与 Qwen3.5-9B 逐位一致(可对照 config.json),所以"加决策能力"对生成分支零代价:HumanEval 前后同为 70.7%。而如果把 System 1 块直接折叠进骨干,会掉到 61.6%——这就是 Blocks of Experts 方案保持两块分离的原因。
两个模型都用同一个 vLLM 引擎、同一套 API 服务:普通请求走基座 lm_head(System 2),指定 jev-decision LoRA 模块的请求走 24 槽决策头(System 1),一次 prefill 出完整概率分布,无需解码。JEV-9B 的启动命令大致是:
vllm serve JEV-9B --served-model-name autotrust/JEV-9B \
--enable-lora --max-lora-rank 32 \
--lora-modules jev-decision=JEV-9B/adapter_vllm \
--logprobs-mode processed_logprobs --max-model-len 4096
隐藏彩蛋:JEV-9B 会"看"了
JEV-9B 还带视觉决策能力(27B 仓库暂无对应发布):摄像头图片或截图进来,一次前向(约 0.2 s)给出每个动作的概率。MuJoCo 机械臂抓取放置 20 个随机场景完成 10 次,浏览器截图点击任务 60 条多步任务完成 95%(3–7 次点击/条,约 0.2 s/次)。图片评测结果在 reports/vl/(VL-RewardBench 74.3%、AgentRewardBench AUROC 0.91),demo 代码在 vl/demos/,一键启动脚本是 vl/serve.sh。如果你的场景涉及机器人或 computer use,JEV-9B 是目前这个家族里唯一开箱即用的选择。
选型建议:按场景对号入座
- 选 JEV-9B:高 QPS 路由/审核/工单分诊、选项 ≤ 8、延迟敏感、单卡显存有限、需要视觉决策 demo,或你想用最快速度原型验证"决策模型"这条技术路线。
- 选 JEV-27B:长选项列表(> 8)、陌生任务家族、代码规则检查、欺诈/安全筛查等"置信度必须站得住"的场景,以及依赖 System 2 写代码与深度推理的场景。
- 混合部署:两者 API 完全相同,可以用 JEV-9B 做第一级快速过滤(低延迟、低成本),置信度不足再路由给 JEV-27B 或 System 2——同一 vLLM 部署里甚至可以对同一骨干做"System 1 自信就答、不自信升级 System 2"的置信门控。
选型前必读的 4 个注意事项 ⚠️
- 它是蒸馏学生,不是独立法官:教师 Jev 的多跳推理、算术、计数盲点会被学生继承——"不可区分"是 53 个训练域内 Jev 标注行上的 KL 结论,不是对一切输入的背书。
- 速度数字不是同口径:本地延迟不含网络跳数,托管 API 的第三方数字包含网络、TLS 和排队。
- choice 一致率有天花板:教师分布本身很软(top-1 中位概率 0.70),教师前两名差距 < 0.1 的行上,任何忠实模仿者都只能接近随机命中。
- 英文为主:语料是英文的,中文场景(如 V2EX 示例)仅为示意,未系统度量。
完整指标、训练轨迹与限制条款见 README.md 的 Headline results 与 Limitations 章节,数据侧审计可查 reports/data_audit.md,各域逐类别分数见 reports/eval_s2_9b.md 与 reports/eval_s2_27b.md。
最后一句话总结:预算和延迟优先,选 JEV-9B;准确率和泛化优先,选 JEV-27B;两者同构同 API,随时可以无缝替换或组合部署。