JEV-27B API 实战手册:一条 HTTP 请求拿到任意问题的校准概率分布(noul / choice / score 详解)
JEV-27B API 实战手册:一条 HTTP 请求拿到任意问题的校准概率分布(noul / choice / score 详解)
JEV-27B 是 AutoTrust 开源的 System 1 + System 2 一体化决策模型,本手册带你用一条 HTTP 请求拿到任意问题的校准概率分布:启动 vLLM 服务后调用 POST /v1/decide,传入 kind、state、question(以及 options),即可在约 0.14 秒内拿到 noul、choice、score 三种题型下每个选项的校准概率——不用自己拼 prompt、不用算 softmax,任何 HTTP 客户端都能用。
为什么是"校准概率",而不是一个答案?
大多数分类接口只返回"标签",而 JEV-27B 的 /v1/decide 返回完整概率分布:
- 你可以知道模型"有多确定",从而按置信度阈值决定是自动处理还是转人工/转 System 2 深推理;
- 概率经过温度校准(ECE ≈ 0.0009),"模型说 80%"就真的约等于 80% 正确;
- 一次前向传播直接出分布,单决策中位延迟 137 ms(单卡 B200),批量 128 条时 4.2 ms/条。
一句话:把 JEV-27B 当成一个"带置信度的快速决策器"接入你的业务管线。
它是怎么做到的:一套权重,两种思维 🧠
JEV-27B 采用 Blocks of Experts 配方:冻结的 Qwen3.8-27B 主干同时承载两套能力——
| 块 | 参数 | 用途 |
|---|---|---|
主干 + 原始 lm_head(System 2) |
25.6 B | 文本生成与逐步推理,与基座完全一致 |
| LoRA 适配块 + 24 槽决策头(System 1) | 108.9 M(占 0.4%) | 三种题型的校准概率输出 |
每次请求选择走哪条路:普通 chat 请求走 System 2;/v1/decide 请求挂上 jev-decision LoRA 走 System 1。System 1 的决策头把最后隐藏层映射到 24 个槽位(noul 占 2 个、score 占 6 个、choice 占 16 个),非激活槽位被掩码,再套上题型温度做 softmax,一次 prefill 就出分布、无解码。槽位布局与 verbalizer 定义见 judge_config.json。
一键启动 JEV-27B 服务(vLLM)
仓库自带 serve_decide.py,它就是标准 vLLM OpenAI 服务器 + 一个 /v1/decide 路由。启动步骤:
hf download autotrust/JEV-27B --local-dir JEV-27B # 约 54 GB
python3 JEV-27B/serve_decide.py --model JEV-27B --served-model-name JEV-27B \
--enable-lora --max-lora-rank 32 \
--lora-modules jev-decision=JEV-27B/adapter_vllm \
--logprobs-mode processed_logprobs --max-model-len 32768
启动需 3–8 分钟(CUDA graph 捕获)。起来之后先用 GET /v1/decide/info 确认:它会报告最大选项数、native 选项上限(16)和各题型温度(见 serve_decide.py#L346-L354)。
💡 80 GB 显存建议把
--max-model-len设为 131072;若大量提问同一份长文本,可加--enable-prefix-caching。
三种题型:noul / choice / score 详解 🔍
请求体只有 4 个核心字段(定义见 serve_decide.py#L76-L89):
| 字段 | 说明 |
|---|---|
kind |
noul(是/否)· choice(多选)· score(0–5 评分) |
state |
决策依据:字符串或 JSON 对象 |
question |
针对 state 的一个问题 |
options |
仅 choice 需要,2–256 个字符串 |
① noul:是/否问题
返回 [P(false), P(true)]。把希望量化的结果写在"true"一侧,例如:
curl localhost:8000/v1/decide -H 'Content-Type: application/json' -d '{
"kind": "noul",
"state": "Customer says the parcel arrived damaged and wants their money back.",
"question": "Is the customer asking for a refund?"}'
回复中 probabilities: [0.022, 0.978]——这就是"客户在要求退款"的校准概率,可以直接进你的风控阈值判断。
② choice:多选题(2–256 个选项)
一次前向传播覆盖全部候选,比"每个候选问一次是/否"更快也更准(官方实测 64 选项意图分类 94.5% vs 逐选项 82.0%):
curl localhost:8000/v1/decide -H 'Content-Type: application/json' -d '{
"kind": "choice",
"state": "SKU AX-330 stock at 8% of safety level; supplier late twice this quarter.",
"question": "Supplier response for this scenario.",
"options": ["issue_warning", "renegotiate", "dual_source", "maintain"]}'
{"kind": "choice", "effective_kind": "choice",
"options": ["issue_warning", "renegotiate", "dual_source", "maintain"],
"probabilities": [0.2541, 0.1253, 0.6200, 0.0007], "choice_index": 2, "choice": "dual_source",
"adaptation": "native", "protocol": "jev27-bare-v1",
"usage": {"prompt_tokens": 65, "completion_tokens": 1, "total_tokens": 66}}
要点:
- 前 16 个选项用 A–P 标签(训练过的标签),17–256 个用 Q–Z、AA、AB… 扩展标签,无需重训;响应里
adaptation字段会告诉你走的是native(≤16)还是扩展路径; - 超过 16 个选项时可用
strategy参数选single(单遍)/tournament(分组+决赛)/permute(4 种顺序平均),默认按模型画像自动选择; - 相似的选项加一行 "use when …" 描述可显著提升准确率(+2.5~4.8 个百分点),详见下文提示词技巧。
③ score:0–5 量表评分
options 固定为 "0"…"5",返回 6 档上的分布,可取期望值得到连续分数(官方 MAE ≈ 0.098,约十分之一分档):
curl localhost:8000/v1/decide -H 'Content-Type: application/json' -d '{
"kind": "score",
"state": "Ticket: \"Cannot log in since yesterday, tried twice, blocked with error 500.\"",
"question": "How urgent is this ticket?"}'
⚠️ score 不支持 thinking(思考只用于 noul 与 choice),传入会直接报错。
读懂响应:每个字段都是给你用的 📋
| 字段 | 含义 |
|---|---|
probabilities |
与 options 对齐的校准概率数组,总和为 1 |
choice_index / choice |
argmax 的下标与选项(方便直接用) |
adaptation |
native 或扩展标签/策略名,说明实际读取路径 |
usage / elapsed_seconds |
token 用量与服务端耗时,便于计费与监控 |
thinking |
仅当开启思考时出现:是否实际思考、思考 token 数与耗时 |
两个容易踩坑的细节:
- 数值第三位小数会漂动——vLLM 用 bf16 计算,结果会随批内并发请求略有不同,属正常现象;
- 概率 = softmax((logprob + 决策头偏差) / 题型温度)。温度存在 calibration.json(noul 1.014 / choice 1.016 / score 1.004),偏差与 token id 存在 adapter_vllm/decision_head.json,
/v1/decide已在服务端自动套好,你无需参与。
写好 System 1 提示词:实测有效的 6 条 📝
作者在 400 条/组 的意图分类集上系统测量过,结论可以直接照抄:
- 事实放
state,问题放question:state承载决策所需的全部信息,question只问一件事;纯文本和 JSON 效果相同。 - 能合并就合并:全部候选放进一条
choice,优于逐候选noul——更准且只花一次前向。 - 相似选项配一行 "use when" 描述:这是唯一明显有效的改动。例如:
A) card arrival: use when users ask about the status or delivery of a physical card. - 措辞几乎不重要:换问法、加"选最佳匹配"之类指令、选项按字母排序,都在 ±1.5 点噪声内——保持朴素即可。
noul要把"你想要的结果"写成 true:如 "Is the customer asking for a refund?"。- 每行一个选项:选项文本里不要带换行。
另外注意顺序敏感性:16 选项下约 7% 的答案会因纯选项顺序改变而变化(教师模型也约 7%)。成对比较类任务建议两个顺序都问一次取平均。
进阶:置信度门控,自动升级 System 2 🚀
因为两个系统共享同一引擎,/v1/decide 内置了"快答 → 不确定再深想"的自适应思考(实现见 serve_decide.py#L393-L395):
"thinking": "auto"(默认阈值 0.8):System 1 最高概率 ≥ 阈值直接返回;低于阈值则让基座模型开思考模式推理,最终返回0.5·p1 + 0.5·p2的混合分布——保留 System 1 校准,又吸收推理结果;"on"始终思考,"off"纯快答;threshold、think_budget、reasoning_effort(xhigh/medium/low)均可按需覆盖;- 加
"debug": true可同时拿到 System 1 与 System 2 的原始分布,方便你对比调参。
客户端侧也可以自己做门控,逻辑就三行:
p = decide("choice", state, question, options)
best = max(p, key=p.get)
if p[best] < 0.90:
escalate_to_system2(state, question, options) # 转慢思考或人工
阈值请用你自己的验证数据校准——官方明确建议不要照搬默认值。
速度、上下文与注意事项 ⚡
- 速度:单决策中位 137 ms、单卡约 130 决策/秒;离线索引 29,955 题 212 秒跑完(141 题/秒)。
- 上下文:主干原生 262,144 token(256K),启动时
--max-model-len 262144后 System 1 也支持长文决策;KV cache 约 65 KB/token,256K 需额外约 17 GB。 - 边界:System 1 是对 TypeSafe Jev 1.13 的蒸馏,会继承教师的弱点(多跳推理、计数、对抗输入不可靠);语料为英文为主;官方建议高风险场景务必做置信度门控。
- 评测留档:完整的测试集指标、vLLM 吞吐与真实世界样例都放在 reports/ 目录,可核对每个数字。
关键文件速查
| 文件 | 作用 |
|---|---|
| serve_decide.py | vLLM OpenAI 服务器 + POST /v1/decide / GET /v1/decide/info |
| adapter_vllm/ | vLLM 用的 LoRA 模块 + decision_head.json(偏差、token id) |
| adapter/ | transformers/peft 路径用的 LoRA(r=16,108.8 M) |
| head.safetensors | 24 槽 fp32 决策头权重 |
| calibration.json | 各题型温度与拟合诊断 |
| judge_config.json | 槽位布局、verbalizer、LoRA 配置 |
| README.md | 完整模型卡:基准、训练细节、限制 |
| reports/ | 评测报告与原始测量数据 |
按上面的流程走一遍,你就可以在业务里用一条 HTTP 请求拿到"可解释置信度的快速决策"——这正是 JEV-27B 相比普通分类接口的核心差异。


