JEV-Gemma4-26B-A4B vs JEV-27B vs TypeSafe Jev 1.13:3款决策模型横评,选哪个?

原创2026-11-10 15:40:541,335 阅读
文章标签:人工智能大模型微调LoRANLP模型推理服务

JEV-Gemma4-26B-A4B vs JEV-27B vs TypeSafe Jev 1.13:3款决策模型横评,选哪个?

JEV-Gemma4-26B-A4B 是 AutoTrust AI 推出的开源权重“决策模型”:它以 Gemma-4-26B-A4B(265 亿参数混合专家模型,每 token 约 40 亿激活)为底座,在一次 prefill 推理中直接输出校准概率——真/假判断、多选项选择、0–5 分打分,全程不生成任何文字。本文将它与开源的 JEV-27B、闭源的托管模型 TypeSafe Jev 1.13 做全面横评,直接给出选型建议。

🧠 30 秒认识这 3 款决策模型

先说清楚什么叫“决策模型”:普通大语言模型是“说话的”,而决策模型是“做选择的”——它把问题、状态、选项打包输入,直接吐出一组概率分布(比如“客户在要求退款:true 94% / false 6%”),天然适合做自动化的路由、分类、评分与门槛判断。

对比项 JEV-Gemma4-26B-A4B JEV-27B TypeSafe Jev 1.13
出品方 AutoTrust AI AutoTrust AI TypeSafe AI
开放程度 开源权重,可本地部署 开源权重 闭源,托管服务
底座 / 规模 Gemma-4-26B-A4B MoE(26.5B 参数,约 4B 激活) 27B 未公开
Decision Index 0.2.1 58.05 🥇 53.30 57.91
附带生成/推理能力 ✅ 底座未修改,位级一致 ✅ —
置信度校准(temperature) ✅ 提供两套 ✅ —

📌 官方明确说明:JEV-Gemma4-26B-A4B 是 AutoTrust 独立构建的开放模型,与 TypeSafe AI 没有任何隶属或合作关系,属于“同一套方法论的两个组织各自实现”。

📊 基准横评:Decision Index 0.2.1 完整成绩

三方都在 Decision Index 0.2.1(38 个基准、5 大领域、15 万+请求)上留有成绩:

模型 综合分(balanced skill) balanced raw breadth skill
JEV-Gemma4-26B-A4B 58.05 67.35 56.98
TypeSafe Jev 1.13(官方榜单) 57.91 — —
JEV-27B 53.30 64.32 52.21

JEV-Gemma4-26B-A4B 的完整成绩已随仓库提供,可自行核对:reports/decision_index_index.json、reports/decision_index_score_brief.json 和 38 个基准的逐项明细 reports/decision_index_benchmark_summary.json。

五大领域能力拆解(skill 分,越高越强)

领域 得分 一句话解读
Tools & Automation(工具与自动化) 0.697 🏆 最强项:函数调用、路由、工具选择
Retrieval & Classification(检索与分类) 0.679 意图分类、检索重排表现好
Language(语言理解) 0.636 反讽、推理、幻觉识别稳定
Knowledge & Reasoning(知识与推理) 0.430 中等偏弱
Arts & Human Taste(艺术与人味) 0.415 最弱项:押韵、和弦、趣味内容

速度与单项亮点

  • ⚡ 150,759 个请求全量跑完,0 报错;单次决策中位延迟仅 18.5 ms(p95 约 215 ms)——这是“半秒内完成一次推荐/搜索排序”的底气。
  • 高分单项:GSM8K 0.976、HellaSwag 0.964、BFCL 函数调用 0.946、CLINC150 意图分类 0.930、BANKING77 0.880、MMLU 0.835、钓鱼邮件判别 0.789。
  • 短板同样清晰:HLE 专家级题目 0.086(低于随机水平)、长结构化输入场景 POP909-CL 0.190、家电模拟器 0.216——这类任务 JEV-27B 更强。

⚡ 为什么它又快又准:双系统架构

JEV-Gemma4-26B-A4B 的核心设计是“一套权重,两套系统”:

  • System 2(慢思考):未做任何修改的 Gemma-4-26B-A4B-it 底座,位级一致,负责文字/图像理解、生成与推理。
  • System 1(快决策):一个 LoRA 适配器(r=32,见 adapter/)+ 一个 24 槽决策头(head.safetensors,hidden 2816 → 24 slots,fp32)。取最后一个 token 的归一化隐状态,经 30 软上限、按类型除温度后 softmax,直接得到概率。不生成任何文本,所以才能做到毫秒级。

一次决策支持 3 种类型化原语(槽位布局见 judge_config.json):

类型 槽位数 用途
noul 2 真/假判断(仅接受 canonical 选项)
score 6 0–5 分打分
choice 16 2–16 个选项;超过 16 个按 16 一组整读,最后再收一组,一个选项都不剪

输入采用极简的 bare-v1 模板(<bos> 前缀):

[kind] choice
[state] 背景状态…
[question] 问题…
[options]
A) 选项一
B) 选项二
[decision]:

校准温度:置信度门槛这样配

模型为每种类型单独校准了温度(temperature),决定概率的“锐利程度”:

文件 noul choice score 适用场景
calibration.json(默认,榜单成绩所用) 1.003 1.017 0.999 日常决策
calibration_gold.json(对标准答案校准) 1.214 1.098 1.000 用置信度给自动动作设门槛时

🚀 快速安装步骤:如何获取模型

仓库为只读镜像,克隆即可开始(权重共约 51.6 GB / bf16,26.5B 参数,见 model.safetensors.index.json):

git clone https://gitcode.com/hf_mirrors/autotrust/JEV-Gemma4-26B-A4B

目录里每个文件都各司其职:

文件 / 目录 作用
model-00001-of-00002.safetensors、model-00002-of-00002.safetensors 底座权重(即未修改的 Gemma-4-26B-A4B-it)
adapter/ System 1 的 LoRA 适配器(peft 格式,加载时在内存中 merge)
head.safetensors 24 槽决策头(fp32)
judge_config.json 槽位布局、verbalizer、softcap、读取方式等
calibration.json / calibration_gold.json 两套按类型校准的温度
config.json 模型结构(MoE:128 专家,top-8 路由;262K 上下文)
reports/ Decision Index 完整评分报告
README.md 官方模型卡,含完整调用示例与数据披露

许可说明:适配器、决策头与校准文件为 Apache-2.0;底座遵循 Gemma 4 条款。

⚠️ 选型前必读:诚实的局限性清单

  • 🎓 教师模型错时,System 1 往往也跟着错(继承性偏差)。
  • 长结构化输入(家电模拟器、POP909 等)弱于 JEV-27B。
  • HLE 专家级题目低于随机水平,不要用于专家级问答。
  • noul 与 score 只接受 canonical 选项;整体偏英文。
  • 官方训练数据披露:使用了部分测试集所属数据集的公开训练 split,MMMU / MMMU-Pro 对该模型不是有效评测。
  • 高危场景必须配合置信度门槛(gold 校准)+ 人工复核。

🏁 结论:决策模型怎么选?一张表说清

你的场景 推荐 理由
需要开源、本地部署、毫秒级快速决策 JEV-Gemma4-26B-A4B 综合分最高(58.05)、中位 18.5 ms,还白送完整生成/推理能力
输入以长结构化数据为主 JEV-27B 长结构化输入场景明显更强(53.30 综合分)
没有 GPU 基础设施,想直接调用 TypeSafe Jev 1.13 托管闭源,综合 57.91 与开源版几乎打平
用概率做自动动作门槛 任一 + calibration_gold.json 对标准答案校准的置信度更可信

一句话总结:要开放生态和极致延迟,选 JEV-Gemma4-26B-A4B;要长文本结构化任务,选 JEV-27B;要零运维开箱即用,选 TypeSafe Jev 1.13。 三者本质是同一套“类型化决策 + 校准概率”方法论的不同形态,先按部署约束筛选,再按任务形态定胜负。

登录后查看全文
JEV-Gemma4-26B-A4B