JEV-Gemma4-26B-A4B vs JEV-27B vs TypeSafe Jev 1.13:3款决策模型横评,选哪个?
JEV-Gemma4-26B-A4B vs JEV-27B vs TypeSafe Jev 1.13:3款决策模型横评,选哪个?
JEV-Gemma4-26B-A4B 是 AutoTrust AI 推出的开源权重“决策模型”:它以 Gemma-4-26B-A4B(265 亿参数混合专家模型,每 token 约 40 亿激活)为底座,在一次 prefill 推理中直接输出校准概率——真/假判断、多选项选择、0–5 分打分,全程不生成任何文字。本文将它与开源的 JEV-27B、闭源的托管模型 TypeSafe Jev 1.13 做全面横评,直接给出选型建议。
🧠 30 秒认识这 3 款决策模型
先说清楚什么叫“决策模型”:普通大语言模型是“说话的”,而决策模型是“做选择的”——它把问题、状态、选项打包输入,直接吐出一组概率分布(比如“客户在要求退款:true 94% / false 6%”),天然适合做自动化的路由、分类、评分与门槛判断。
| 对比项 | JEV-Gemma4-26B-A4B | JEV-27B | TypeSafe Jev 1.13 |
|---|---|---|---|
| 出品方 | AutoTrust AI | AutoTrust AI | TypeSafe AI |
| 开放程度 | 开源权重,可本地部署 | 开源权重 | 闭源,托管服务 |
| 底座 / 规模 | Gemma-4-26B-A4B MoE(26.5B 参数,约 4B 激活) | 27B | 未公开 |
| Decision Index 0.2.1 | 58.05 🥇 | 53.30 | 57.91 |
| 附带生成/推理能力 | ✅ 底座未修改,位级一致 | ✅ | — |
| 置信度校准(temperature) | ✅ 提供两套 | ✅ | — |
📌 官方明确说明:JEV-Gemma4-26B-A4B 是 AutoTrust 独立构建的开放模型,与 TypeSafe AI 没有任何隶属或合作关系,属于“同一套方法论的两个组织各自实现”。
📊 基准横评:Decision Index 0.2.1 完整成绩
三方都在 Decision Index 0.2.1(38 个基准、5 大领域、15 万+请求)上留有成绩:
| 模型 | 综合分(balanced skill) | balanced raw | breadth skill |
|---|---|---|---|
| JEV-Gemma4-26B-A4B | 58.05 | 67.35 | 56.98 |
| TypeSafe Jev 1.13(官方榜单) | 57.91 | — | — |
| JEV-27B | 53.30 | 64.32 | 52.21 |
JEV-Gemma4-26B-A4B 的完整成绩已随仓库提供,可自行核对:reports/decision_index_index.json、reports/decision_index_score_brief.json 和 38 个基准的逐项明细 reports/decision_index_benchmark_summary.json。
五大领域能力拆解(skill 分,越高越强)
| 领域 | 得分 | 一句话解读 |
|---|---|---|
| Tools & Automation(工具与自动化) | 0.697 | 🏆 最强项:函数调用、路由、工具选择 |
| Retrieval & Classification(检索与分类) | 0.679 | 意图分类、检索重排表现好 |
| Language(语言理解) | 0.636 | 反讽、推理、幻觉识别稳定 |
| Knowledge & Reasoning(知识与推理) | 0.430 | 中等偏弱 |
| Arts & Human Taste(艺术与人味) | 0.415 | 最弱项:押韵、和弦、趣味内容 |
速度与单项亮点
- ⚡ 150,759 个请求全量跑完,0 报错;单次决策中位延迟仅 18.5 ms(p95 约 215 ms)——这是“半秒内完成一次推荐/搜索排序”的底气。
- 高分单项:GSM8K 0.976、HellaSwag 0.964、BFCL 函数调用 0.946、CLINC150 意图分类 0.930、BANKING77 0.880、MMLU 0.835、钓鱼邮件判别 0.789。
- 短板同样清晰:HLE 专家级题目 0.086(低于随机水平)、长结构化输入场景 POP909-CL 0.190、家电模拟器 0.216——这类任务 JEV-27B 更强。
⚡ 为什么它又快又准:双系统架构
JEV-Gemma4-26B-A4B 的核心设计是“一套权重,两套系统”:
- System 2(慢思考):未做任何修改的 Gemma-4-26B-A4B-it 底座,位级一致,负责文字/图像理解、生成与推理。
- System 1(快决策):一个 LoRA 适配器(r=32,见 adapter/)+ 一个 24 槽决策头(head.safetensors,hidden 2816 → 24 slots,fp32)。取最后一个 token 的归一化隐状态,经 30 软上限、按类型除温度后 softmax,直接得到概率。不生成任何文本,所以才能做到毫秒级。
一次决策支持 3 种类型化原语(槽位布局见 judge_config.json):
| 类型 | 槽位数 | 用途 |
|---|---|---|
noul |
2 | 真/假判断(仅接受 canonical 选项) |
score |
6 | 0–5 分打分 |
choice |
16 | 2–16 个选项;超过 16 个按 16 一组整读,最后再收一组,一个选项都不剪 |
输入采用极简的 bare-v1 模板(<bos> 前缀):
[kind] choice
[state] 背景状态…
[question] 问题…
[options]
A) 选项一
B) 选项二
[decision]:
校准温度:置信度门槛这样配
模型为每种类型单独校准了温度(temperature),决定概率的“锐利程度”:
| 文件 | noul | choice | score | 适用场景 |
|---|---|---|---|---|
| calibration.json(默认,榜单成绩所用) | 1.003 | 1.017 | 0.999 | 日常决策 |
| calibration_gold.json(对标准答案校准) | 1.214 | 1.098 | 1.000 | 用置信度给自动动作设门槛时 |
🚀 快速安装步骤:如何获取模型
仓库为只读镜像,克隆即可开始(权重共约 51.6 GB / bf16,26.5B 参数,见 model.safetensors.index.json):
git clone https://gitcode.com/hf_mirrors/autotrust/JEV-Gemma4-26B-A4B
目录里每个文件都各司其职:
| 文件 / 目录 | 作用 |
|---|---|
| model-00001-of-00002.safetensors、model-00002-of-00002.safetensors | 底座权重(即未修改的 Gemma-4-26B-A4B-it) |
| adapter/ | System 1 的 LoRA 适配器(peft 格式,加载时在内存中 merge) |
| head.safetensors | 24 槽决策头(fp32) |
| judge_config.json | 槽位布局、verbalizer、softcap、读取方式等 |
| calibration.json / calibration_gold.json | 两套按类型校准的温度 |
| config.json | 模型结构(MoE:128 专家,top-8 路由;262K 上下文) |
| reports/ | Decision Index 完整评分报告 |
| README.md | 官方模型卡,含完整调用示例与数据披露 |
许可说明:适配器、决策头与校准文件为 Apache-2.0;底座遵循 Gemma 4 条款。
⚠️ 选型前必读:诚实的局限性清单
- 🎓 教师模型错时,System 1 往往也跟着错(继承性偏差)。
- 长结构化输入(家电模拟器、POP909 等)弱于 JEV-27B。
- HLE 专家级题目低于随机水平,不要用于专家级问答。
noul与score只接受 canonical 选项;整体偏英文。- 官方训练数据披露:使用了部分测试集所属数据集的公开训练 split,MMMU / MMMU-Pro 对该模型不是有效评测。
- 高危场景必须配合置信度门槛(gold 校准)+ 人工复核。
🏁 结论:决策模型怎么选?一张表说清
| 你的场景 | 推荐 | 理由 |
|---|---|---|
| 需要开源、本地部署、毫秒级快速决策 | JEV-Gemma4-26B-A4B | 综合分最高(58.05)、中位 18.5 ms,还白送完整生成/推理能力 |
| 输入以长结构化数据为主 | JEV-27B | 长结构化输入场景明显更强(53.30 综合分) |
| 没有 GPU 基础设施,想直接调用 | TypeSafe Jev 1.13 | 托管闭源,综合 57.91 与开源版几乎打平 |
| 用概率做自动动作门槛 | 任一 + calibration_gold.json |
对标准答案校准的置信度更可信 |
一句话总结:要开放生态和极致延迟,选 JEV-Gemma4-26B-A4B;要长文本结构化任务,选 JEV-27B;要零运维开箱即用,选 TypeSafe Jev 1.13。 三者本质是同一套“类型化决策 + 校准概率”方法论的不同形态,先按部署约束筛选,再按任务形态定胜负。