决策模型JEV-Gemma4-26B-A4B三大决策原语完全指南:noul、choice、score用法与示例清单

原创2026-11-10 23:50:151,971 阅读
文章标签:人工智能大模型微调LoRANLP模型推理服务

决策模型JEV-Gemma4-26B-A4B三大决策原语完全指南:noul、choice、score用法与示例清单

JEV-Gemma4-26B-A4B 是一个开源决策模型:它在一套 Gemma-4-26B-A4B 权重上同时提供"生成推理"和"秒级决策"两种能力,通过 noul(是/否判断)、choice(2–16 项多选)、score(0–5 打分)三大决策原语,在一次前向计算中就返回校准过的概率,而不是生成一段文字。本文是面向新手的完整指南,讲清三个原语的用法、输入格式、校准文件选择和常用示例清单。

🧠 一图看懂:一个模型,两套系统

这个项目的设计思路是"两个系统、一套权重":

系统 组成 能做什么 特点
System 2(慢思考) 未经修改的 google/gemma-4-26B-A4B-it 基座(26B 专家混合模型,每 token 激活约 4B 参数) 常规文本/图像生成与推理 与原模型逐位一致
System 1(快决策) LoRA 适配器(adapter/)+ 24 槽决策头(head.safetensors) 用 noul / choice / score 返回概率 单次 prefill,中位延迟仅约 18.5ms

System 1 的工作方式很巧妙:取最后一个 token 的隐藏状态,通过一个 fp32 线性层映射到 24 个槽位,再按原语类型截取对应槽位、除以温度、做 softmax,得到每个选项的概率。全程不生成任何文字,这也是它快得多的原因。

💡 注意:它与闭源托管模型 TypeSafe Jev 1.13 无关,是由 AutoTrust AI 独立构建的开放权重模型。

⚖️ 三大决策原语怎么选:一张速查表

三个原语共享同一套输入模板,只是"问的问题形状"不同:

原语 决策类型 选项数量 典型场景
noul 二分类(true / false) 固定 2 项,只接受规范选项 意图识别、情绪/风险判断、是否触发规则
choice 多选(2–16 项,更多自动分组) 2–16 项 意图分类、路由、排序后的候选选择
score 打分(0–5 分) 固定 6 档,只接受规范选项 相关性/质量评分、置信度分级、内容排序

三者返回的都是每个选项一个概率(softmax 后),你可以取最大值作为决策,也可以保留完整分布用于"置信度门槛"。

✅ noul:回答"是不是"的问题

noul 只做二分类,选项固定为 ["false", "true"](顺序可调)。它适合把模糊的用户输入压缩成一个布尔判断。

示例清单(常见 noul 用法):

state(上下文) question(问题) 用途
客服消息:"包裹到了但是坏了,我要退款" 客户是在要求退款吗? 意图识别 → 触发退款流程
一段产品评论文本 这条评论是差评吗? 舆情监控
一封邮件 这封邮件含有投诉吗? 工单分级
一段对话 用户是否表达出明显不满? 情绪预警

README 中给出的官方示例就是客服场景:判断"客户是否在要求退款",见 README.md 的 Usage 一节。

🔀 choice:从 2–16 个选项中选一个

choice 是三个原语中最灵活的:传入 2–16 个候选项,模型返回每项的概率。选项在输入中会自动加上 A)、B) 这样的字母前缀(对应 judge_config.json 中的 verbalizer 表 A–P)。

关键细节: 如果选项超过 16 个,引擎会按"≤16 个一组"连续分组读取,最后一组固定 16 个槽位——所有选项都会被读取,不会被裁剪。这意味着你可以用它做几十路意图分类。

示例清单(常见 choice 用法):

场景 选项示例
客服工单路由 ["退款", "换货", "物流查询", "投诉", "其他"]
新闻重要性排序 从候选标题集合中选出"最该置顶的一条"
多引擎搜索结果重排 对多组检索结果按相关性选出最优
语言/地区判定 ["en", "zh", "ja", "de", ...]
工具调用选择 从候选 API 中选出应调用的那个(BFCL 类任务)

它的实战效果可以参考评测报告:在 BFCL(工具调用)上 case 精确准确率约 94.6%,在 ToolRet(检索重排)上 nDCG@10 约 0.67,详见 reports/decision_index_benchmark_summary.json。

📊 score:给答案打一个 0–5 分

score 把问题映射到 6 档离散分数(0 到 5),适合需要"程度"而非"类别"的场景:

示例清单(常见 score 用法):

state(上下文) question(问题) 用途
查询 + 候选网页 该结果与查询的相关程度? 搜索结果重排
用户问题 + 模型答案 答案正确且完整的程度? 答案质量门控
一段内容 内容对目标受众的吸引力? 推荐排序
风险描述 该操作的风险等级? 自动审批分级

官方演示中,news.guru.so 的推荐和搜索功能——"每条排序都是一次约半秒完成的 System 1 决策"——正是 score 的典型应用。

🚀 快速上手:三步完成一次决策

完整可运行代码见 README.md,核心流程只有三步:

第 1 步:下载权重并加载。 用 snapshot_download("autotrust/JEV-Gemma4-26B-A4B") 拉取模型,基座用 Gemma4ForConditionalGeneration 以 bf16 加载到 GPU;System 1 通过 PeftModel.from_pretrained(base, f"{d}/adapter").merge_and_unload() 把 LoRA(r=32, alpha=64,见 judge_config.json)合入基座,再加载决策头 head.safetensors。

第 2 步:按 bare-v1 模板拼输入。 三个原语共用同一种文本结构,末尾以 [decision]: 收尾,并加上 <bos> 前缀:

[kind] noul
[state] 客户说包裹到了但损坏了,要求退款。
[question] 客户是在要求退款吗?
[options]
false
true
[decision]:

第 3 步:一次前向读取概率。 取最后一个 token 的隐藏状态 → 过线性头 → 按 judge_config.json 中该原语的槽位区间截取(noul 占槽 0–2,score 占槽 2–8,choice 占槽 8–24)→ 除以对应温度 → softmax,得到与选项一一对应的概率字典。例如 noul 示例输出类似 {'false': 0.02, 'true': 0.98}。

注意:noul 与 score 只接受规范选项(false/true、0–5),不要自定义文案;choice 则可以自由命名选项。

🎛️ 校准文件怎么选:calibration.json vs calibration_gold.json

模型输出概率前会除以"温度",仓库提供两套:

文件 noul choice score 适用场景
calibration.json(默认,Decision Index 评测所用) 1.003 1.017 0.999 一般决策与评测
calibration_gold.json(对标准答案校准) 1.214 1.098 1.000 当你要依据置信度拦截/放行自动动作时

经验法则:如果你只是选个答案,用默认文件即可;如果你在代码里写"概率低于 0.85 就转人工"这类门槛逻辑,请换用 calibration_gold.json,它的概率在真实答案分布上更可信。

📈 性能怎么样:Decision Index 0.2.1 成绩单

该模型在 Decision Index 0.2.1 上完成了全部 150,317 条计分请求(0 错误、0 不支持),综合决策指数(balanced skill)58.05,在开放模型中位列前茅(对比:同门 JEV-27B 为 53.30)。分项能力(skill 分数)如下,汇总见 reports/decision_index_score_brief.json:

领域 Knowledge & Reasoning Language Retrieval & Classification Tools & Automation Arts & Taste
skill 分数 0.430 0.636 0.679 0.697 0.415

速度方面,单次决策请求中位延迟 18.5ms、p95 约 215ms(见 reports/decision_index_benchmark_summary.json)——足以支撑实时推荐、搜索重排这类在线场景。

⚠️ 使用注意事项与已知局限

  • 英文为主:模型以英语为中心训练,中文/小语种效果会打折扣;
  • 高风险决策慎用:官方明确不建议在高利害场景(医疗、法律、金融)中无置信度门控地直接使用 System 1;
  • 专家级问题勿用 System 1:在 HLE 这类专家级基准上表现低于随机水平,此类问题应交给 System 2(即基座模型本身)去推理;
  • 长结构化输入偏弱:相比 JEV-27B,处理超长结构化输入(如大型模拟器场景)时稍逊;
  • 教师误差会传递:System 1 基于教师分布训练,教师错时它多半也错。

📁 相关文件速查

文件 作用
README.md 完整说明、使用代码与 License
judge_config.json 24 槽位布局、verbalizer、模板版本与 LoRA 参数
calibration.json / calibration_gold.json 两套逐原语温度(默认 / 对标准答案校准)
head.safetensors 24 槽决策头(fp32,2816→24 线性层)
adapter/adapter_config.json System 1 的 LoRA 适配器配置
reports/decision_index_score_brief.json Decision Index 成绩摘要

一句话总结:需要"是/否"就用 noul,需要"选一个"就用 choice,需要"打个分"就用 score——同一套权重、一次前向、毫秒级延迟、概率经过校准,这就是 JEV-Gemma4-26B-A4B 给工程侧的三大决策原语。

登录后查看全文
JEV-Gemma4-26B-A4B