如何用JEV-9B做实时智能决策?noul、choice、score三大决策原语实战入门

原创2026-10-19 13:14:552,671 阅读

如何用JEV-9B做实时智能决策?noul、choice、score三大决策原语实战入门

JEV-9B 是 AutoTrust 发布的开源决策模型,把"System 1 快速决策"和"System 2 深度推理"装进同一套权重:前一次前向传播就能对 noul(是/否)、choice(多选一)、score(0–5 打分)三大决策原语输出经过校准的概率分布。单卡上单次决策中位数约 90 ms,是面向内容审核、工单路由、风险打分等实时智能决策场景的轻量级方案,本文带你从零跑通三大原语的完整工作流。

一、JEV-9B 是什么:一套权重,两种思维

传统做法是"分类模型管判断、生成模型管解释",两套系统互相割裂。JEV-9B 采用 Blocks of Experts(专家块)配方,把两种能力拆成两个可插拔的"块":

模块 是什么 用途
骨干网络 Qwen3.5-9B(冻结,逐位与原模型一致) 两种思维共享
System 1 块 LoRA(40.1 M 参数)+ 24 槽位决策头(98 k) 一次前向传播输出校准概率
System 2 块 原始 lm_head(不参与训练) 文本生成与逐步推理

请求进来时按路由走不同路径:走 System 1 就是一次"prefill 只走一遍"的快速判断;走 System 2 就是普通的大模型生成,可开启 thinking 模式逐步推理。得益于块之间互相隔离,System 1 的加入让 System 2 零受损——HumanEval pass@1 前后都是 70.7%,164 条代码补全逐字节一致(详见 README.md)。

💡 通俗理解:System 1 像你的"直觉",毫秒级给出答案和置信度;System 2 像"深思",慢但会讲道理。JEV-9B 让你用一个引擎同时拥有两者。

二、三大决策原语速览:noul、choice、score

JEV-9B 的 System 1 只支持三种"题型",每种原语都有固定输入格式和输出格式,这是它快且可校准的关键:

原语 回答的问题 返回内容 典型延迟(单卡 B200)
noul "这个陈述为真吗?" [P(false), P(true)] 中位数 ≈ 90 ms
choice "2–16 个选项中选哪个?" 每个选项一个概率,与你的 options 一一对应 同上(批量 128 条时 2.5 ms/条)
score "落在 0–5 的哪个档位?" 6 档概率分布(可换算期望分) 同上

输入使用极简的"bare 模板",以 choice 为例:

[kind] choice
[state] SKU AX-330 库存只剩安全线的 8%;供应商本季度已两次延迟交货。
[question] 该场景下应采取的供应商应对策略。
[options]
A) issue_warning
B) renegotiate
C) dual_source
D) maintain
[decision]:

模型把整段文本编码后,取最后一个 token 的隐状态过一个 fp32 线性决策头(H → 24 槽位):noul 用槽位 0–1、score 用 2–7、choice 用 8–23,未使用的槽位被屏蔽,再施加逐原语温度并做 softmax,就得到与选项对齐的概率分布。槽位布局与 verbalizer token id 记录在 judge_config.json,温度值记录在 calibration.json(noul 1.002 / choice 0.984 / score 1.012,拟合值均接近 1.0,说明模型天生校准良好)。

🎯 三个原语的"一句话选型":

  • 是非判断、过滤、门控 → noul(测试集 AUROC 0.996,Brier 0.0015)
  • 路由、分类、从少量候选中挑一个 → choice(与教师模型 top-1 一致率 89.8%)
  • 紧急度、风险等级、质量评分 → score(期望值 MAE 仅 0.103,约十分之一档误差)

三、快速上手:三步跑通实时决策

JEV-9B 推荐用 vLLM 部署:一个引擎同时服务两种思维,普通请求走基座 lm_head,发给 LoRA 模块 jev-decision 的请求则走决策头。

第 1 步:下载权重(约 18 GB)

hf download autotrust/JEV-9B --local-dir JEV-9B

第 2 步:启动服务(OpenAI 兼容)

vllm serve JEV-9B --served-model-name autotrust/JEV-9B \
    --enable-lora --max-lora-rank 32 --lora-modules jev-decision=JEV-9B/adapter_vllm \
    --logprobs-mode processed_logprobs --max-model-len 4096

⚠️ --logprobs-mode processed_logprobs 必须加:它让返回的 logprobs 尊重 allowed_token_ids,这是读取决策分布的前提。adapter_vllm/ 里除了骨干 LoRA,还有把 24 槽决策头改写成 lm_head LoRA 的版本及 decision_head.json(含偏置与 verbalizer token id)。

第 3 步:调用 /v1/decide 得到校准概率

如果用视觉版服务(bash vl/serve.sh,见 vl/serve.sh),体验最简,只需一个 POST:

import requests

r = requests.post("http://localhost:8000/v1/decide", json={
    "kind": "noul",
    "state": "客户说包裹到货时已破损,要求退款。",
    "question": "客户是在要求退款吗?"}).json()
print(r["probabilities"])   # [P(false), P(true)] ≈ [0.009, 0.991]

完整的服务端实现(含自适应 thinking 升级逻辑)在 vl/serve_decide.py,响应字段包含 kind、options、probabilities、choice、elapsed_seconds 等,可直接对接现有 OpenAI 客户端。

四、三大原语实战:三个真实场景

下面三个例子全部来自仓库的实测记录(reports/realworld_9b.json),可直接作为业务模板。

4.1 noul:内容审核的"秒级闸门"

客服工单第一句"我不满意,我有哪些选择?"——noul 判断"是否在要求退款",输出 P(true) = 0.17(TypeSafe 官方文档中教师模型对同一文本给 0.22)。再如代码 diff 中"用字符串拼接替换参数化查询",noul 判断"是否引入安全漏洞"给出 0.93,而仅仅重命名变量只有 0.17——概率值可以直接用来分流:高置信自动处理,低置信转人工。

4.2 choice:工单路由与供应链决策

给 4 个候选动作(警告 / 重新谈判 / 双源采购 / 维持现状),模型输出 ≈ {'issue_warning': 0.33, 'renegotiate': 0.14, 'dual_source': 0.53, 'maintain': 0.001}——注意不是 one-hot,而是完整分布。这意味着你可以实现"次优备选":当第一名概率不足阈值时,直接把第二名的概率也上报给下游。在 Hacker News 19 条首页新闻的 10 选项主题分类实测中,JEV-9B 38/38 全对。

4.3 score:风险与紧急度分级

score 原语输出 0–5 共 6 档的分布,对"该工单有多紧急"这类问题给出平滑档位而非硬标签。评测中期望值 MAE 仅 0.103(0–5 量表),即平均只偏十分之一档;有序概率得分(RPS)0.0085,说明分布本身也高度贴合教师模型,而不仅是均值对得上。

五、为什么"实时"二字站得住脚:性能与校准

指标 数值 说明
单次决策(1 块 B200) 中位数 ≈ 90 ms 托管版 Jev API 独立测得 238–301 ms
批量 128 条 2.5 ms/条 vLLM 持续批处理
单 GPU 吞吐 ≈ 340 决策/秒 约为独立基准中托管 API 的 15 倍
ECE(预期校准误差) 0.0007 说 80% 就真有 80% 把握
14,400 条基准决策 42 秒完成 完整数据见 reports/vllm_decisions_9b.json

🧠 两个让实时系统更省钱的细节:

  • 前缀缓存:同一份长 state 问多个问题时,加 --enable-prefix-caching 可让约 19.6% 的 prompt token 走缓存,吞吐提升 14–20%(要求共享前缀超过 528 token)。
  • 混合批处理:同一次 generate 调用里,每条请求可各自指定 lora_request(System 1 用 jev-decision,System 2 传 None),快慢请求互不阻塞。

六、置信度门控升级:让 System 1 把难题交给 System 2

两种思维同住一个引擎,最自然的用法是"快则自答、慢则深思":

def solve(state, question, options, threshold=0.90):
    p = decide("choice", state, question, options)      # System 1:一次 prefill
    best = max(p, key=p.get)
    if p[best] >= threshold:
        return best                                       # 置信度够高,直接返回
    # 否则交给 System 2(同引擎、基座 lm_head、开启 thinking 推理)
    ...

阈值 0.90 只是示例——请在你自己的验证集上选择。官方 README 明确提示:这是一种使用模式而非已基准测试过的配置;且 System 1 与 System 2 在知识层面并未融合,升级后两者偶尔会不一致,这是设计使然,不是 bug。

七、进阶:让决策原语"看"截图

JEV-9B 还支持图像输入:state 里可以直接放图片(base64 或 URL),三大原语不变,只是判断依据多了画面。仓库自带两个演示(vl/demos/):

视觉评测明细在 reports/vl/,其中计算机使用任务的完整概率记录为 reports/vl/computer_use.json。

八、新手避坑:五条注意事项

  1. 它会忠实继承教师的错误:JEV-9B 是蒸馏学生而非独立裁判,教师 Jev 不擅长的多跳推理、算术、计数、对抗输入,学生同样不擅长(例如那个扑克场景教师给 0.62 梭哈,学生给 0.70)。
  2. 9B 有自己的一点盲区:16 选项下仅打乱选项顺序就有 11.5% 的答案翻转(教师 7.0%);长选项列表、陌生任务族、代码规则检查请优先选同家族的 JEV-27B。
  3. 选项集是固定的:noul 只能是 ["false","true"],score 只能是 ["0".."5"],choice 接受 2–16 个自由文本选项;超长输入(state 超 1024 token)会在服务端按"头 60% + 尾 40%"截断。
  4. 以英文为主:训练语料是英文,多语言行为继承自骨干模型、未系统测量(中文 V2EX 例子只是演示,不是基准)。
  5. 不要用于高风险决策:务必做置信度门控——自动执行的阈值要在自己的数据上验证,其余交给 System 2、更强模型或人工。

九、关键文件速查

文件 作用
adapter/ System 1 的 LoRA 适配器(peft 格式,r=16,154 MB),transformers 路径使用
adapter_vllm/ 同一适配器的 vLLM 版本 + 决策头参数 decision_head.json
head.safetensors 24 槽位决策头(fp32),transformers 路径使用
judge_config.json 槽位布局、verbalizer token id、模板版本(bare-v1)
calibration.json 逐原语温度与拟合诊断
vl/serve.sh · vl/serve_decide.py 视觉版一键启动脚本与 /v1/decide 服务端实现
reports/ 全套评测:测试集指标、vLLM 实测、真实世界案例

小结:JEV-9B 把"实时智能决策"拆成了三块积木——noul 管是非、choice 管挑选、score 管打分,每个积木都是单次前向传播、概率经过校准、延迟约 90 ms。配合 vLLM 的服务与置信度门控升级,你可以用一块 GPU 搭出"快思考自动执行 + 慢思考兜底"的完整决策流水线。想深入原理与完整基准,建议从 README.md 的 "Quickstart with vLLM" 一节读起。

登录后查看全文
JEV-9B