JEV-27B API 实战手册:一条 HTTP 请求拿到任意问题的校准概率分布(noul / choice / score 详解)

原创2026-11-09 21:43:021,663 阅读

JEV-27B API 实战手册:一条 HTTP 请求拿到任意问题的校准概率分布(noul / choice / score 详解)

JEV-27B 是 AutoTrust 开源的 System 1 + System 2 一体化决策模型,本手册带你用一条 HTTP 请求拿到任意问题的校准概率分布:启动 vLLM 服务后调用 POST /v1/decide,传入 kind、state、question(以及 options),即可在约 0.14 秒内拿到 noul、choice、score 三种题型下每个选项的校准概率——不用自己拼 prompt、不用算 softmax,任何 HTTP 客户端都能用。

JEV-27B 校准概率模型记分卡:System 1 保真度、校准误差、速度与 JEV-9B 对比

为什么是"校准概率",而不是一个答案?

大多数分类接口只返回"标签",而 JEV-27B 的 /v1/decide 返回完整概率分布:

  • 你可以知道模型"有多确定",从而按置信度阈值决定是自动处理还是转人工/转 System 2 深推理;
  • 概率经过温度校准(ECE ≈ 0.0009),"模型说 80%"就真的约等于 80% 正确;
  • 一次前向传播直接出分布,单决策中位延迟 137 ms(单卡 B200),批量 128 条时 4.2 ms/条。

一句话:把 JEV-27B 当成一个"带置信度的快速决策器"接入你的业务管线。

它是怎么做到的:一套权重,两种思维 🧠

JEV-27B 采用 Blocks of Experts 配方:冻结的 Qwen3.8-27B 主干同时承载两套能力——

块 参数 用途
主干 + 原始 lm_head(System 2) 25.6 B 文本生成与逐步推理,与基座完全一致
LoRA 适配块 + 24 槽决策头(System 1) 108.9 M(占 0.4%) 三种题型的校准概率输出

每次请求选择走哪条路:普通 chat 请求走 System 2;/v1/decide 请求挂上 jev-decision LoRA 走 System 1。System 1 的决策头把最后隐藏层映射到 24 个槽位(noul 占 2 个、score 占 6 个、choice 占 16 个),非激活槽位被掩码,再套上题型温度做 softmax,一次 prefill 就出分布、无解码。槽位布局与 verbalizer 定义见 judge_config.json。

JEV-27B Blocks of Experts 配方:训练 System 1 块后由同一套权重按请求路由两种系统

一键启动 JEV-27B 服务(vLLM)

仓库自带 serve_decide.py,它就是标准 vLLM OpenAI 服务器 + 一个 /v1/decide 路由。启动步骤:

hf download autotrust/JEV-27B --local-dir JEV-27B   # 约 54 GB

python3 JEV-27B/serve_decide.py --model JEV-27B --served-model-name JEV-27B \
    --enable-lora --max-lora-rank 32 \
    --lora-modules jev-decision=JEV-27B/adapter_vllm \
    --logprobs-mode processed_logprobs --max-model-len 32768

启动需 3–8 分钟(CUDA graph 捕获)。起来之后先用 GET /v1/decide/info 确认:它会报告最大选项数、native 选项上限(16)和各题型温度(见 serve_decide.py#L346-L354)。

💡 80 GB 显存建议把 --max-model-len 设为 131072;若大量提问同一份长文本,可加 --enable-prefix-caching。

三种题型:noul / choice / score 详解 🔍

请求体只有 4 个核心字段(定义见 serve_decide.py#L76-L89):

字段 说明
kind noul(是/否)· choice(多选)· score(0–5 评分)
state 决策依据:字符串或 JSON 对象
question 针对 state 的一个问题
options 仅 choice 需要,2–256 个字符串

① noul:是/否问题

返回 [P(false), P(true)]。把希望量化的结果写在"true"一侧,例如:

curl localhost:8000/v1/decide -H 'Content-Type: application/json' -d '{
  "kind": "noul",
  "state": "Customer says the parcel arrived damaged and wants their money back.",
  "question": "Is the customer asking for a refund?"}'

回复中 probabilities: [0.022, 0.978]——这就是"客户在要求退款"的校准概率,可以直接进你的风控阈值判断。

② choice:多选题(2–256 个选项)

一次前向传播覆盖全部候选,比"每个候选问一次是/否"更快也更准(官方实测 64 选项意图分类 94.5% vs 逐选项 82.0%):

curl localhost:8000/v1/decide -H 'Content-Type: application/json' -d '{
  "kind": "choice",
  "state": "SKU AX-330 stock at 8% of safety level; supplier late twice this quarter.",
  "question": "Supplier response for this scenario.",
  "options": ["issue_warning", "renegotiate", "dual_source", "maintain"]}'
{"kind": "choice", "effective_kind": "choice",
 "options": ["issue_warning", "renegotiate", "dual_source", "maintain"],
 "probabilities": [0.2541, 0.1253, 0.6200, 0.0007], "choice_index": 2, "choice": "dual_source",
 "adaptation": "native", "protocol": "jev27-bare-v1",
 "usage": {"prompt_tokens": 65, "completion_tokens": 1, "total_tokens": 66}}

要点:

  • 前 16 个选项用 A–P 标签(训练过的标签),17–256 个用 Q–Z、AA、AB… 扩展标签,无需重训;响应里 adaptation 字段会告诉你走的是 native(≤16)还是扩展路径;
  • 超过 16 个选项时可用 strategy 参数选 single(单遍)/ tournament(分组+决赛)/ permute(4 种顺序平均),默认按模型画像自动选择;
  • 相似的选项加一行 "use when …" 描述可显著提升准确率(+2.5~4.8 个百分点),详见下文提示词技巧。

③ score:0–5 量表评分

options 固定为 "0"…"5",返回 6 档上的分布,可取期望值得到连续分数(官方 MAE ≈ 0.098,约十分之一分档):

curl localhost:8000/v1/decide -H 'Content-Type: application/json' -d '{
  "kind": "score",
  "state": "Ticket: \"Cannot log in since yesterday, tried twice, blocked with error 500.\"",
  "question": "How urgent is this ticket?"}'

⚠️ score 不支持 thinking(思考只用于 noul 与 choice),传入会直接报错。

读懂响应:每个字段都是给你用的 📋

字段 含义
probabilities 与 options 对齐的校准概率数组,总和为 1
choice_index / choice argmax 的下标与选项(方便直接用)
adaptation native 或扩展标签/策略名,说明实际读取路径
usage / elapsed_seconds token 用量与服务端耗时,便于计费与监控
thinking 仅当开启思考时出现:是否实际思考、思考 token 数与耗时

两个容易踩坑的细节:

  1. 数值第三位小数会漂动——vLLM 用 bf16 计算,结果会随批内并发请求略有不同,属正常现象;
  2. 概率 = softmax((logprob + 决策头偏差) / 题型温度)。温度存在 calibration.json(noul 1.014 / choice 1.016 / score 1.004),偏差与 token id 存在 adapter_vllm/decision_head.json,/v1/decide 已在服务端自动套好,你无需参与。

写好 System 1 提示词:实测有效的 6 条 📝

作者在 400 条/组 的意图分类集上系统测量过,结论可以直接照抄:

  1. 事实放 state,问题放 question:state 承载决策所需的全部信息,question 只问一件事;纯文本和 JSON 效果相同。
  2. 能合并就合并:全部候选放进一条 choice,优于逐候选 noul——更准且只花一次前向。
  3. 相似选项配一行 "use when" 描述:这是唯一明显有效的改动。例如:A) card arrival: use when users ask about the status or delivery of a physical card.
  4. 措辞几乎不重要:换问法、加"选最佳匹配"之类指令、选项按字母排序,都在 ±1.5 点噪声内——保持朴素即可。
  5. noul 要把"你想要的结果"写成 true:如 "Is the customer asking for a refund?"。
  6. 每行一个选项:选项文本里不要带换行。

另外注意顺序敏感性:16 选项下约 7% 的答案会因纯选项顺序改变而变化(教师模型也约 7%)。成对比较类任务建议两个顺序都问一次取平均。

JEV-27B 基准测试亮点:按题型划分的 KL、独立基准准确率、System 2 代码能力与速度

进阶:置信度门控,自动升级 System 2 🚀

因为两个系统共享同一引擎,/v1/decide 内置了"快答 → 不确定再深想"的自适应思考(实现见 serve_decide.py#L393-L395):

  • "thinking": "auto"(默认阈值 0.8):System 1 最高概率 ≥ 阈值直接返回;低于阈值则让基座模型开思考模式推理,最终返回 0.5·p1 + 0.5·p2 的混合分布——保留 System 1 校准,又吸收推理结果;
  • "on" 始终思考,"off" 纯快答;threshold、think_budget、reasoning_effort(xhigh/medium/low)均可按需覆盖;
  • 加 "debug": true 可同时拿到 System 1 与 System 2 的原始分布,方便你对比调参。

客户端侧也可以自己做门控,逻辑就三行:

p = decide("choice", state, question, options)
best = max(p, key=p.get)
if p[best] < 0.90:
    escalate_to_system2(state, question, options)   # 转慢思考或人工

阈值请用你自己的验证数据校准——官方明确建议不要照搬默认值。

速度、上下文与注意事项 ⚡

  • 速度:单决策中位 137 ms、单卡约 130 决策/秒;离线索引 29,955 题 212 秒跑完(141 题/秒)。
  • 上下文:主干原生 262,144 token(256K),启动时 --max-model-len 262144 后 System 1 也支持长文决策;KV cache 约 65 KB/token,256K 需额外约 17 GB。
  • 边界:System 1 是对 TypeSafe Jev 1.13 的蒸馏,会继承教师的弱点(多跳推理、计数、对抗输入不可靠);语料为英文为主;官方建议高风险场景务必做置信度门控。
  • 评测留档:完整的测试集指标、vLLM 吞吐与真实世界样例都放在 reports/ 目录,可核对每个数字。

关键文件速查

文件 作用
serve_decide.py vLLM OpenAI 服务器 + POST /v1/decide / GET /v1/decide/info
adapter_vllm/ vLLM 用的 LoRA 模块 + decision_head.json(偏差、token id)
adapter/ transformers/peft 路径用的 LoRA(r=16,108.8 M)
head.safetensors 24 槽 fp32 决策头权重
calibration.json 各题型温度与拟合诊断
judge_config.json 槽位布局、verbalizer、LoRA 配置
README.md 完整模型卡:基准、训练细节、限制
reports/ 评测报告与原始测量数据

按上面的流程走一遍,你就可以在业务里用一条 HTTP 请求拿到"可解释置信度的快速决策"——这正是 JEV-27B 相比普通分类接口的核心差异。

登录后查看全文
JEV-27B