Jev 不是模型名,是一份协议:JSON-RPC 决策规范凭什么保证确定性输出
Jev 不是模型名,是一份协议:JSON-RPC 决策规范凭什么保证确定性输出
2026 年 9 月,一个"不生成任何文字、只输出选择与概率"的模型刷屏了整个开发者社区:Hacker News 一天冲到 1863 分、491 条评论,几周内估值传闻飙到数十亿美元,"给 Codex 外挂 Jev 判断模型""Agent 决策比 LLM 快 40 倍"之类的标题比比皆是。热闹之下,一个更根本的问题反而被多数人忽略了:Jev 从来不是一个模型,而是一套接口契约。 官方只提供托管 API、不公开权重,真正让它成为"确定性输出"标杆的,是协议层的设计——强类型输入校验、自包含请求、以及"答案不是生成出来的、而是算出来的"读出口机制。
本文不比较"谁更强"的榜单,而是以本仓库中开放的 autotrust/JEV-35B(一个独立实现的 35B System 1 决策模型)为源码证据,逐层拆解:协议如何把"决策"从"对话"里剥离出来,三个确定性来源分别靠什么代码落地,以及协议化对跨模型、跨部署可复现性到底意味着什么。
先厘清概念:Jev 是接口契约,不是模型
社区对 Jev 的一致技术描述是一套面向实时决策的 JSON-RPC 协议规范,把一次"决策"建模为:输入一个状态(state)和一个问题(question),输出每个选项的校准概率(probabilities)。问题只有三种类型,全部结构化:
- noul:是与否二分类,输出
P(true); - score:0–5 级打分,输出每一级的概率;
- choice:从 2–256 个选项中选一,输出每个选项的概率。
协议之外,Jev 官方(TypeSafe AI)只提供云端 API,不发布权重、没有官方本地部署方案——这就是"Jev 能本地部署吗"成为社区高频问题的直接原因。于是涌现出一批"同一协议、开放权重"的实现:0.8B/2B 的 Jeff、本仓库的 autotrust/JEV-35B、Kev、StartLux Decision 系列等。正如本仓库 README.md 中明确划清的边界——"Two models, two organisations":TypeSafe Jev 1.13 是 TypeSafe AI 的托管闭源模型,autotrust/JEV-35B 是 AutoTrust AI 的独立开源模型,二者不互相隶属。协议是开放的接口契约,实现可以自由替换。
为什么决策必须从"对话"里剥离出来
通用 LLM 的 chat/completions 接口围绕多轮对话设计:session 状态、system prompt 构造、思维链开关、自回归逐 token 生成,最后还要在输出文本上做 JSON 解析与格式修复才能拿到结构化结果。这套流程在"写一段文案"的场景里没问题,但在实时决策场景里全是问题:
- 任务错位:决策要的是"状态 → 概率分布"的映射,不是语言生成;
- 不确定性:自回归采样导致同一输入可能吐出不同文本,解析还可能失败;
- 开销不可控:session 与 prompt 构造让每次调用都携带大量上下文,延迟方差大;
- 错误面铺开:JSON 修复、格式重试等后处理逻辑遍布调用链各处。
Jev 风格协议的做法是剥离开这三样东西:不要 session、不要 prompt 工程、不要后处理。一次请求携带全部所需信息,服务端返回选项概率分布。本仓库的 serve_decide.py 就是这个思想的可执行版本——POST /v1/decide 端点,一次调用即一次决策。
协议落地的第一站:强类型决策端点
打开 serve_decide.py,协议的第一层确定性来自输入侧的强类型约束。请求体是一个 pydantic 模型:
class DecideRequest(BaseModel):
kind: Literal["noul", "score", "choice"]
state: str | dict | list = ""
question: str
options: list[str] | None = None
strategy: Literal["auto", "single", "tournament", "permute"] = "auto"
thinking: Literal["default", "off", "auto", "on"] = "default"
threshold: float | None = None
...
kind 被锁死在三个字面量上,state 可以是字符串、JSON 对象或"文本 + 图片"混合列表,options 的数量被端点强制校验在 2–256 之间,越界直接返回结构化错误而不是猜测:
if not 2 <= len(opts) <= len(S["labels"]):
return _err(f"choice needs 2-{len(S['labels'])} options, got {len(opts)}")
README 中给出了最简调用示例:
curl localhost:8000/v1/decide -H 'Content-Type: application/json' -d '{
"kind": "choice",
"state": "Customer message: my card was charged twice for the same order.",
"question": "Which team should handle this ticket?",
"options": ["billing", "shipping", "technical support", "account security"]}'
响应同样是结构化形状:options、probabilities、choice、choice_index 和 usage,并带一个 protocol 字段标识协议版本(本仓库为 "jev27-bare-v1")。调用方拿到的是一份概率分布,而不是一串需要再解析的文本——"No generated text, no parsing"。
确定性三件套:读出口、校准温度、位置偏差
如果说强类型端点解决的是"请求格式"的确定性,那么"输出"的确定性则由三件套机制保证:固定读出口、校准温度、位置偏差消除。
第一件:答案不是"生成"的,是"算"出来的
这是整个协议最反直觉也最关键的一环。决策端点不会自回归地解码答案 token,而是从固定读出口直接计算分布。模型在 lm_head 中为每个决策类型预留了一组槽位,judge_config.json 记录了完整的布局:共 264 个槽,noul 占 2 个(false/true)、score 占 6 个(0–5)、choice 占 256 个(A 一直到 JU 的标签码),读出口类型为 last_token——取最后一个位置的隐藏状态。
serve_decide.py 的 s1_pass 把整个过程压缩成一行数学运算:
return _softmax([(max(lp.get(t, -1e9), -1e9) + b) / temps[kind] for t, b in zip(ids, bias)])
从候选 token 的 logprob 上取出每个槽的得分,加上决策头的 bias(来自 adapter_vllm/decision_head.json),除以该类型校准温度后做 softmax。全程只有一次前向、一个 token 的读出(max_tokens=1),没有采样、没有 beam search——同一输入必然得到同一分布,确定性由计算图结构保证,而不是概率性解码碰运气。
值得注意的是读出的完整性。基座 generation_config.json 默认 top_k: 20, top_p: 0.95,会截断概率分布;serve_decide.py 因此用一组显式的读出参数覆盖默认值:
READ = dict(max_tokens=1, temperature=1.0, top_p=1.0, top_k=0, min_p=0.0,
repetition_penalty=1.0, add_special_tokens=False, ...)
README 也提醒:若自行调用 vLLM 的 /v1/completions 而非 /v1/decide,必须传 top_k: 0 和 top_p: 1.0,否则返回的概率是被截断过的。
第二件:温度不是超参数,是模型属性
确定性输出的前提是概率"诚实"——说 90% 就真的 90% 概率对。为此每个 checkpoint 在训练后拟合一个校准温度写入 calibration.json,三种类型各一个:
"per_kind": {
"noul": 0.983979670366565,
"choice": 1.0115124406428329,
"score": 1.008403419963151
}
文件里还保存了拟合过程的完整证据:noul 类在 4363 行样本上拟合,KL 散度从 0.0043006 降到 0.0042792;诊断切分上校准后的 ECE(期望校准误差)低至 0.00157。温度随模型走、不随部署走,这是跨环境复现概率输出的前提——同一份权重、同一份 calibration,无论跑在 vLLM 还是其他引擎上,输出的分布都一致。
第三件:位置偏差消除
小模型会倾向按位置选答案(两选项判断题偏向 A 是经典现象)。协议提供两种策略对抗它。serve_decide.py 的 s1_dist 中,"permute" 策略把选项正序答一次、再随机打乱三次,把各次概率映射回原选项后取平均:
rng = random.Random(zlib.crc32(question.encode()))
orders = [list(range(n))] + [rng.sample(range(n), n) for _ in range(3)]
打乱顺序的随机种子由 question 的 CRC32 派生——连"随机"都是确定性的,同一请求永远产生同一组置换。答案不随"选项摆在哪个位置"而漂移。对于本仓库这种 256 槽宽头的模型,2–256 个选项可以单次前向一次性读完(_native() 返回 256),permute/tournament 则服务于更大选项集或旧式 16 槽头,机制完全保留在协议里。
加一道保险:schema 冻结与加载断言
协议的确定性格局在服务启动时就被检查。serve_decide.py 的 setup() 里有一行断言:用 tokenizer 现场编码出的选项标签序列,必须与训练时冻结在 judge_config.json 中的 verbalizer_ids 完全一致,否则拒绝加载:
assert [t for _, t in dec[: hi - lo]] == head["verbalizer_ids"][lo:hi], "first labels must be the trained A-P head"
这封死了词汇表漂移:训练时"标签 A 对应 token id 32",推理时就必须还是 32。标签码必须是分词器编码为单 token 的字符(A–Z,再 AA、AB…),且紧跟聊天前缀后仍保持单 token。本仓库的 judge_config.json 明确记录 weights_mode: "merged"、model_version: 1.1.0、template_version: bare-v1-wide256——协议先于实现存在,模型服从协议,而不是反过来。
协议化对跨模型、跨部署可复现性的意义
协议最大的红利,是让"决策逻辑"与"具体模型"解耦。同一种请求格式,现在有多个可信实现:
- TypeSafe Jev 官方 API:含网络延迟的 Doom 评测单次调用 114–212 毫秒;
- Jeff 0.8B/2B:开放权重的原生实现,本地单次决策中位数 22–24 毫秒,
decision_config.json记录训练时的答案码、token id 与校准温度,加载时逐一核对; - autotrust/JEV-35B:本仓库,Qwen3.5-35B-A3B 微调(35B 参数、每 token 约 3B 激活的 MoE),Decision Index 0.3 公开套件 59.73,B200 上单请求中位数延迟 204 毫秒;
- Ollama 0.35:为这类模型原生新增 Choice/Noul/Score 类型化端点,本地单次判断中位数 33 毫秒。
"协议是契约,模型是插槽"在工程上的体现是:业务代码只依赖请求/响应形状,今天插 0.8B、明天插 35B、后天换部署引擎,调用方一行不改。
这种可复现性在本仓库数据里是可见的。README 记录 JEV-35B 跑完了 Decision Index 0.3 公开套件全部 140,178 个可计分请求、0 错误;NVFP4 量化版(权重 25.6 GB、单卡 32 GB 即可跑)在 Decision Index 上得分 59.18 对 bf16 的 59.73,96.6% 的答案与 bf16 逐位一致,且同延迟、同 serve.sh、同 API。协议化的部署还意味着:概率输出可以被审计、被校验、被重放——serve_decide.py 的每个响应都带 usage、elapsed_seconds、num_model_requests 字段,一次决策的成本与耗时是可追踪的元数据,而不是黑盒。
协议的边界:确定性不等于聪明
最后必须泼一盆冷水:协议解决的是"接口确定性",不解决"模型能力"。本仓库 README.md 的 Limitations 写得非常直白——这是 System 1 决策模型,不聊天、不生成文本、无思考模式;Knowledge & Reasoning 是弱项(GPQA 0.360、MMLU-Pro 0.642);顺序博弈(2048、Flappy Bird、Snake)弱于同系 VL 版本;不适合无置信度门控的高风险决策。社区复现实验也印证:推理密集的 JevBench hard 档上,0.8B 只能拿 44.8,明显低于 Jev 的 73.3——小模型不擅长多步推理,这是协议挡不住的能力边界。
换句话说,协议保证了"同一输入、同一模型、必然同一输出;不同模型、同一协议、代码零改动",但它不负责把模型变聪明。真正值得工程团队盯住的,从来不是某个模型名,而是那条不变、可审计、可替换的协议线——Jev 刷屏一周后留下的最持久遗产,恰恰是它。