如何用JEV-9B做实时智能决策?noul、choice、score三大决策原语实战入门
如何用JEV-9B做实时智能决策?noul、choice、score三大决策原语实战入门
JEV-9B 是 AutoTrust 发布的开源决策模型,把"System 1 快速决策"和"System 2 深度推理"装进同一套权重:前一次前向传播就能对 noul(是/否)、choice(多选一)、score(0–5 打分)三大决策原语输出经过校准的概率分布。单卡上单次决策中位数约 90 ms,是面向内容审核、工单路由、风险打分等实时智能决策场景的轻量级方案,本文带你从零跑通三大原语的完整工作流。
一、JEV-9B 是什么:一套权重,两种思维
传统做法是"分类模型管判断、生成模型管解释",两套系统互相割裂。JEV-9B 采用 Blocks of Experts(专家块)配方,把两种能力拆成两个可插拔的"块":
| 模块 | 是什么 | 用途 |
|---|---|---|
| 骨干网络 | Qwen3.5-9B(冻结,逐位与原模型一致) | 两种思维共享 |
| System 1 块 | LoRA(40.1 M 参数)+ 24 槽位决策头(98 k) | 一次前向传播输出校准概率 |
| System 2 块 | 原始 lm_head(不参与训练) |
文本生成与逐步推理 |
请求进来时按路由走不同路径:走 System 1 就是一次"prefill 只走一遍"的快速判断;走 System 2 就是普通的大模型生成,可开启 thinking 模式逐步推理。得益于块之间互相隔离,System 1 的加入让 System 2 零受损——HumanEval pass@1 前后都是 70.7%,164 条代码补全逐字节一致(详见 README.md)。
💡 通俗理解:System 1 像你的"直觉",毫秒级给出答案和置信度;System 2 像"深思",慢但会讲道理。JEV-9B 让你用一个引擎同时拥有两者。
二、三大决策原语速览:noul、choice、score
JEV-9B 的 System 1 只支持三种"题型",每种原语都有固定输入格式和输出格式,这是它快且可校准的关键:
| 原语 | 回答的问题 | 返回内容 | 典型延迟(单卡 B200) |
|---|---|---|---|
noul |
"这个陈述为真吗?" | [P(false), P(true)] |
中位数 ≈ 90 ms |
choice |
"2–16 个选项中选哪个?" | 每个选项一个概率,与你的 options 一一对应 |
同上(批量 128 条时 2.5 ms/条) |
score |
"落在 0–5 的哪个档位?" | 6 档概率分布(可换算期望分) | 同上 |
输入使用极简的"bare 模板",以 choice 为例:
[kind] choice
[state] SKU AX-330 库存只剩安全线的 8%;供应商本季度已两次延迟交货。
[question] 该场景下应采取的供应商应对策略。
[options]
A) issue_warning
B) renegotiate
C) dual_source
D) maintain
[decision]:
模型把整段文本编码后,取最后一个 token 的隐状态过一个 fp32 线性决策头(H → 24 槽位):noul 用槽位 0–1、score 用 2–7、choice 用 8–23,未使用的槽位被屏蔽,再施加逐原语温度并做 softmax,就得到与选项对齐的概率分布。槽位布局与 verbalizer token id 记录在 judge_config.json,温度值记录在 calibration.json(noul 1.002 / choice 0.984 / score 1.012,拟合值均接近 1.0,说明模型天生校准良好)。
🎯 三个原语的"一句话选型":
- 是非判断、过滤、门控 →
noul(测试集 AUROC 0.996,Brier 0.0015) - 路由、分类、从少量候选中挑一个 →
choice(与教师模型 top-1 一致率 89.8%) - 紧急度、风险等级、质量评分 →
score(期望值 MAE 仅 0.103,约十分之一档误差)
三、快速上手:三步跑通实时决策
JEV-9B 推荐用 vLLM 部署:一个引擎同时服务两种思维,普通请求走基座 lm_head,发给 LoRA 模块 jev-decision 的请求则走决策头。
第 1 步:下载权重(约 18 GB)
hf download autotrust/JEV-9B --local-dir JEV-9B
第 2 步:启动服务(OpenAI 兼容)
vllm serve JEV-9B --served-model-name autotrust/JEV-9B \
--enable-lora --max-lora-rank 32 --lora-modules jev-decision=JEV-9B/adapter_vllm \
--logprobs-mode processed_logprobs --max-model-len 4096
⚠️
--logprobs-mode processed_logprobs必须加:它让返回的 logprobs 尊重allowed_token_ids,这是读取决策分布的前提。adapter_vllm/里除了骨干 LoRA,还有把 24 槽决策头改写成lm_headLoRA 的版本及 decision_head.json(含偏置与 verbalizer token id)。
第 3 步:调用 /v1/decide 得到校准概率
如果用视觉版服务(bash vl/serve.sh,见 vl/serve.sh),体验最简,只需一个 POST:
import requests
r = requests.post("http://localhost:8000/v1/decide", json={
"kind": "noul",
"state": "客户说包裹到货时已破损,要求退款。",
"question": "客户是在要求退款吗?"}).json()
print(r["probabilities"]) # [P(false), P(true)] ≈ [0.009, 0.991]
完整的服务端实现(含自适应 thinking 升级逻辑)在 vl/serve_decide.py,响应字段包含 kind、options、probabilities、choice、elapsed_seconds 等,可直接对接现有 OpenAI 客户端。
四、三大原语实战:三个真实场景
下面三个例子全部来自仓库的实测记录(reports/realworld_9b.json),可直接作为业务模板。
4.1 noul:内容审核的"秒级闸门"
客服工单第一句"我不满意,我有哪些选择?"——noul 判断"是否在要求退款",输出 P(true) = 0.17(TypeSafe 官方文档中教师模型对同一文本给 0.22)。再如代码 diff 中"用字符串拼接替换参数化查询",noul 判断"是否引入安全漏洞"给出 0.93,而仅仅重命名变量只有 0.17——概率值可以直接用来分流:高置信自动处理,低置信转人工。
4.2 choice:工单路由与供应链决策
给 4 个候选动作(警告 / 重新谈判 / 双源采购 / 维持现状),模型输出 ≈ {'issue_warning': 0.33, 'renegotiate': 0.14, 'dual_source': 0.53, 'maintain': 0.001}——注意不是 one-hot,而是完整分布。这意味着你可以实现"次优备选":当第一名概率不足阈值时,直接把第二名的概率也上报给下游。在 Hacker News 19 条首页新闻的 10 选项主题分类实测中,JEV-9B 38/38 全对。
4.3 score:风险与紧急度分级
score 原语输出 0–5 共 6 档的分布,对"该工单有多紧急"这类问题给出平滑档位而非硬标签。评测中期望值 MAE 仅 0.103(0–5 量表),即平均只偏十分之一档;有序概率得分(RPS)0.0085,说明分布本身也高度贴合教师模型,而不仅是均值对得上。
五、为什么"实时"二字站得住脚:性能与校准
| 指标 | 数值 | 说明 |
|---|---|---|
| 单次决策(1 块 B200) | 中位数 ≈ 90 ms | 托管版 Jev API 独立测得 238–301 ms |
| 批量 128 条 | 2.5 ms/条 | vLLM 持续批处理 |
| 单 GPU 吞吐 | ≈ 340 决策/秒 | 约为独立基准中托管 API 的 15 倍 |
| ECE(预期校准误差) | 0.0007 | 说 80% 就真有 80% 把握 |
| 14,400 条基准决策 | 42 秒完成 | 完整数据见 reports/vllm_decisions_9b.json |
🧠 两个让实时系统更省钱的细节:
- 前缀缓存:同一份长
state问多个问题时,加--enable-prefix-caching可让约 19.6% 的 prompt token 走缓存,吞吐提升 14–20%(要求共享前缀超过 528 token)。 - 混合批处理:同一次
generate调用里,每条请求可各自指定lora_request(System 1 用jev-decision,System 2 传None),快慢请求互不阻塞。
六、置信度门控升级:让 System 1 把难题交给 System 2
两种思维同住一个引擎,最自然的用法是"快则自答、慢则深思":
def solve(state, question, options, threshold=0.90):
p = decide("choice", state, question, options) # System 1:一次 prefill
best = max(p, key=p.get)
if p[best] >= threshold:
return best # 置信度够高,直接返回
# 否则交给 System 2(同引擎、基座 lm_head、开启 thinking 推理)
...
阈值 0.90 只是示例——请在你自己的验证集上选择。官方 README 明确提示:这是一种使用模式而非已基准测试过的配置;且 System 1 与 System 2 在知识层面并未融合,升级后两者偶尔会不一致,这是设计使然,不是 bug。
七、进阶:让决策原语"看"截图
JEV-9B 还支持图像输入:state 里可以直接放图片(base64 或 URL),三大原语不变,只是判断依据多了画面。仓库自带两个演示(vl/demos/):
- 机械臂抓放(vl/demos/robot_arm.py):每步用
choice判断"目标在夹爪左还是右、上还是下",MuJoCo 仿真 20 个随机场景完成 10 次,每次决策约 165 ms。演示视频见 videos/robot_arm_pick_place.mp4 - 计算机操作(vl/demos/computer_use.py):截图 → 给每个可点击元素编号 →
choice选出下一次点击(或"任务完成")→ 循环。60 个随机多步任务完成 95%,每步约 0.2 秒。演示视频见 videos/computer_use_shop.mp4 等
视觉评测明细在 reports/vl/,其中计算机使用任务的完整概率记录为 reports/vl/computer_use.json。
八、新手避坑:五条注意事项
- 它会忠实继承教师的错误:JEV-9B 是蒸馏学生而非独立裁判,教师 Jev 不擅长的多跳推理、算术、计数、对抗输入,学生同样不擅长(例如那个扑克场景教师给 0.62 梭哈,学生给 0.70)。
- 9B 有自己的一点盲区:16 选项下仅打乱选项顺序就有 11.5% 的答案翻转(教师 7.0%);长选项列表、陌生任务族、代码规则检查请优先选同家族的 JEV-27B。
- 选项集是固定的:
noul只能是["false","true"],score只能是["0".."5"],choice接受 2–16 个自由文本选项;超长输入(state 超 1024 token)会在服务端按"头 60% + 尾 40%"截断。 - 以英文为主:训练语料是英文,多语言行为继承自骨干模型、未系统测量(中文 V2EX 例子只是演示,不是基准)。
- 不要用于高风险决策:务必做置信度门控——自动执行的阈值要在自己的数据上验证,其余交给 System 2、更强模型或人工。
九、关键文件速查
| 文件 | 作用 |
|---|---|
| adapter/ | System 1 的 LoRA 适配器(peft 格式,r=16,154 MB),transformers 路径使用 |
| adapter_vllm/ | 同一适配器的 vLLM 版本 + 决策头参数 decision_head.json |
| head.safetensors | 24 槽位决策头(fp32),transformers 路径使用 |
| judge_config.json | 槽位布局、verbalizer token id、模板版本(bare-v1) |
| calibration.json | 逐原语温度与拟合诊断 |
| vl/serve.sh · vl/serve_decide.py | 视觉版一键启动脚本与 /v1/decide 服务端实现 |
| reports/ | 全套评测:测试集指标、vLLM 实测、真实世界案例 |
小结:JEV-9B 把"实时智能决策"拆成了三块积木——noul 管是非、choice 管挑选、score 管打分,每个积木都是单次前向传播、概率经过校准、延迟约 90 ms。配合 vLLM 的服务与置信度门控升级,你可以用一块 GPU 搭出"快思考自动执行 + 慢思考兜底"的完整决策流水线。想深入原理与完整基准,建议从 README.md 的 "Quickstart with vLLM" 一节读起。