决策模型JEV-Gemma4-26B-A4B三大决策原语完全指南:noul、choice、score用法与示例清单
决策模型JEV-Gemma4-26B-A4B三大决策原语完全指南:noul、choice、score用法与示例清单
JEV-Gemma4-26B-A4B 是一个开源决策模型:它在一套 Gemma-4-26B-A4B 权重上同时提供"生成推理"和"秒级决策"两种能力,通过 noul(是/否判断)、choice(2–16 项多选)、score(0–5 打分)三大决策原语,在一次前向计算中就返回校准过的概率,而不是生成一段文字。本文是面向新手的完整指南,讲清三个原语的用法、输入格式、校准文件选择和常用示例清单。
🧠 一图看懂:一个模型,两套系统
这个项目的设计思路是"两个系统、一套权重":
| 系统 | 组成 | 能做什么 | 特点 |
|---|---|---|---|
| System 2(慢思考) | 未经修改的 google/gemma-4-26B-A4B-it 基座(26B 专家混合模型,每 token 激活约 4B 参数) |
常规文本/图像生成与推理 | 与原模型逐位一致 |
| System 1(快决策) | LoRA 适配器(adapter/)+ 24 槽决策头(head.safetensors) |
用 noul / choice / score 返回概率 |
单次 prefill,中位延迟仅约 18.5ms |
System 1 的工作方式很巧妙:取最后一个 token 的隐藏状态,通过一个 fp32 线性层映射到 24 个槽位,再按原语类型截取对应槽位、除以温度、做 softmax,得到每个选项的概率。全程不生成任何文字,这也是它快得多的原因。
💡 注意:它与闭源托管模型 TypeSafe Jev 1.13 无关,是由 AutoTrust AI 独立构建的开放权重模型。
⚖️ 三大决策原语怎么选:一张速查表
三个原语共享同一套输入模板,只是"问的问题形状"不同:
| 原语 | 决策类型 | 选项数量 | 典型场景 |
|---|---|---|---|
noul |
二分类(true / false) | 固定 2 项,只接受规范选项 | 意图识别、情绪/风险判断、是否触发规则 |
choice |
多选(2–16 项,更多自动分组) | 2–16 项 | 意图分类、路由、排序后的候选选择 |
score |
打分(0–5 分) | 固定 6 档,只接受规范选项 | 相关性/质量评分、置信度分级、内容排序 |
三者返回的都是每个选项一个概率(softmax 后),你可以取最大值作为决策,也可以保留完整分布用于"置信度门槛"。
✅ noul:回答"是不是"的问题
noul 只做二分类,选项固定为 ["false", "true"](顺序可调)。它适合把模糊的用户输入压缩成一个布尔判断。
示例清单(常见 noul 用法):
| state(上下文) | question(问题) | 用途 |
|---|---|---|
| 客服消息:"包裹到了但是坏了,我要退款" | 客户是在要求退款吗? | 意图识别 → 触发退款流程 |
| 一段产品评论文本 | 这条评论是差评吗? | 舆情监控 |
| 一封邮件 | 这封邮件含有投诉吗? | 工单分级 |
| 一段对话 | 用户是否表达出明显不满? | 情绪预警 |
README 中给出的官方示例就是客服场景:判断"客户是否在要求退款",见 README.md 的 Usage 一节。
🔀 choice:从 2–16 个选项中选一个
choice 是三个原语中最灵活的:传入 2–16 个候选项,模型返回每项的概率。选项在输入中会自动加上 A)、B) 这样的字母前缀(对应 judge_config.json 中的 verbalizer 表 A–P)。
关键细节: 如果选项超过 16 个,引擎会按"≤16 个一组"连续分组读取,最后一组固定 16 个槽位——所有选项都会被读取,不会被裁剪。这意味着你可以用它做几十路意图分类。
示例清单(常见 choice 用法):
| 场景 | 选项示例 |
|---|---|
| 客服工单路由 | ["退款", "换货", "物流查询", "投诉", "其他"] |
| 新闻重要性排序 | 从候选标题集合中选出"最该置顶的一条" |
| 多引擎搜索结果重排 | 对多组检索结果按相关性选出最优 |
| 语言/地区判定 | ["en", "zh", "ja", "de", ...] |
| 工具调用选择 | 从候选 API 中选出应调用的那个(BFCL 类任务) |
它的实战效果可以参考评测报告:在 BFCL(工具调用)上 case 精确准确率约 94.6%,在 ToolRet(检索重排)上 nDCG@10 约 0.67,详见 reports/decision_index_benchmark_summary.json。
📊 score:给答案打一个 0–5 分
score 把问题映射到 6 档离散分数(0 到 5),适合需要"程度"而非"类别"的场景:
示例清单(常见 score 用法):
| state(上下文) | question(问题) | 用途 |
|---|---|---|
| 查询 + 候选网页 | 该结果与查询的相关程度? | 搜索结果重排 |
| 用户问题 + 模型答案 | 答案正确且完整的程度? | 答案质量门控 |
| 一段内容 | 内容对目标受众的吸引力? | 推荐排序 |
| 风险描述 | 该操作的风险等级? | 自动审批分级 |
官方演示中,news.guru.so 的推荐和搜索功能——"每条排序都是一次约半秒完成的 System 1 决策"——正是 score 的典型应用。
🚀 快速上手:三步完成一次决策
完整可运行代码见 README.md,核心流程只有三步:
第 1 步:下载权重并加载。 用 snapshot_download("autotrust/JEV-Gemma4-26B-A4B") 拉取模型,基座用 Gemma4ForConditionalGeneration 以 bf16 加载到 GPU;System 1 通过 PeftModel.from_pretrained(base, f"{d}/adapter").merge_and_unload() 把 LoRA(r=32, alpha=64,见 judge_config.json)合入基座,再加载决策头 head.safetensors。
第 2 步:按 bare-v1 模板拼输入。 三个原语共用同一种文本结构,末尾以 [decision]: 收尾,并加上 <bos> 前缀:
[kind] noul
[state] 客户说包裹到了但损坏了,要求退款。
[question] 客户是在要求退款吗?
[options]
false
true
[decision]:
第 3 步:一次前向读取概率。 取最后一个 token 的隐藏状态 → 过线性头 → 按 judge_config.json 中该原语的槽位区间截取(noul 占槽 0–2,score 占槽 2–8,choice 占槽 8–24)→ 除以对应温度 → softmax,得到与选项一一对应的概率字典。例如 noul 示例输出类似 {'false': 0.02, 'true': 0.98}。
注意:noul 与 score 只接受规范选项(false/true、0–5),不要自定义文案;choice 则可以自由命名选项。
🎛️ 校准文件怎么选:calibration.json vs calibration_gold.json
模型输出概率前会除以"温度",仓库提供两套:
| 文件 | noul | choice | score | 适用场景 |
|---|---|---|---|---|
| calibration.json(默认,Decision Index 评测所用) | 1.003 | 1.017 | 0.999 | 一般决策与评测 |
| calibration_gold.json(对标准答案校准) | 1.214 | 1.098 | 1.000 | 当你要依据置信度拦截/放行自动动作时 |
经验法则:如果你只是选个答案,用默认文件即可;如果你在代码里写"概率低于 0.85 就转人工"这类门槛逻辑,请换用 calibration_gold.json,它的概率在真实答案分布上更可信。
📈 性能怎么样:Decision Index 0.2.1 成绩单
该模型在 Decision Index 0.2.1 上完成了全部 150,317 条计分请求(0 错误、0 不支持),综合决策指数(balanced skill)58.05,在开放模型中位列前茅(对比:同门 JEV-27B 为 53.30)。分项能力(skill 分数)如下,汇总见 reports/decision_index_score_brief.json:
| 领域 | Knowledge & Reasoning | Language | Retrieval & Classification | Tools & Automation | Arts & Taste |
|---|---|---|---|---|---|
| skill 分数 | 0.430 | 0.636 | 0.679 | 0.697 | 0.415 |
速度方面,单次决策请求中位延迟 18.5ms、p95 约 215ms(见 reports/decision_index_benchmark_summary.json)——足以支撑实时推荐、搜索重排这类在线场景。
⚠️ 使用注意事项与已知局限
- 英文为主:模型以英语为中心训练,中文/小语种效果会打折扣;
- 高风险决策慎用:官方明确不建议在高利害场景(医疗、法律、金融)中无置信度门控地直接使用 System 1;
- 专家级问题勿用 System 1:在 HLE 这类专家级基准上表现低于随机水平,此类问题应交给 System 2(即基座模型本身)去推理;
- 长结构化输入偏弱:相比 JEV-27B,处理超长结构化输入(如大型模拟器场景)时稍逊;
- 教师误差会传递:System 1 基于教师分布训练,教师错时它多半也错。
📁 相关文件速查
| 文件 | 作用 |
|---|---|
| README.md | 完整说明、使用代码与 License |
| judge_config.json | 24 槽位布局、verbalizer、模板版本与 LoRA 参数 |
| calibration.json / calibration_gold.json | 两套逐原语温度(默认 / 对标准答案校准) |
| head.safetensors | 24 槽决策头(fp32,2816→24 线性层) |
| adapter/adapter_config.json | System 1 的 LoRA 适配器配置 |
| reports/decision_index_score_brief.json | Decision Index 成绩摘要 |
一句话总结:需要"是/否"就用 noul,需要"选一个"就用 choice,需要"打个分"就用 score——同一套权重、一次前向、毫秒级延迟、概率经过校准,这就是 JEV-Gemma4-26B-A4B 给工程侧的三大决策原语。