JevK5-9B完全指南:零生成Token、一次前向传播输出完整概率分布的开源决策模型是什么
JevK5-9B完全指南:零生成Token、一次前向传播输出完整概率分布的开源决策模型是什么
JevK5-9B 是一个 Apache-2.0 开源决策模型:它读取一段状态描述和一个"是/否、多选或打分"问题,在一次前向传播中直接给出所有选项的完整概率分布,全程零生成 Token——不逐字输出答案,因此又准又快(H100 上短决策约 16 ms)。它是 TypeSafe 商业模型 Jev 的独立开源替代品,基于 Qwen3.5-9B 训练,适合自托管场景。
一、什么是"决策模型":和普通对话大模型有何不同?
普通大模型回答问题靠"一个字一个字地生成",答案长度不确定、速度慢,而且无法告诉你它对每个选项有多大把握。
JevK5-9B 换了一种思路 🎯:
- 输入:一段状态描述(state)+ 一个结构化问题(yes/no、choice 或 score 类型)
- 输出:每个选项对应的概率,外加最高置信选项和置信度
它采用 SemIf 协议的读出方式:对"答案字母"的下一个 token logits 做 softmax,再除以一个校准温度得到最终概率。由于不需要采样生成,同一个问题跑一万次结果完全一致,非常适合嵌入业务系统做自动分诊、路由、审批判断。
需要说明:JevK5-9B 与 TypeSafe 的 Jev 及其架构无任何关联,是独立的开源实现。
二、核心参数速查:两个温度从哪里来
所有推理参数都放在仓库根目录的 jevk5_config.json 中,运行时会自动读取:
| 参数 | 数值 | 作用 |
|---|---|---|
temperature |
1.316 | 单次读出的校准温度,在留出教师题上拟合 |
knockout_temperature |
1.05 | 选项超过 16 个时的"淘汰赛"分轮读出温度 |
💡 所谓 knockout(淘汰赛)读出:选项多于 16 个时,模型分多轮、每轮最多 16 个选项逐轮比较,再用第二个温度合并成最终分布。这让它能处理 77 甚至 151 个选项的超长选择任务。
三、模型规格与硬件要求
从 config.json 和 README.md 可以提取关键规格:
- 基础模型:Qwen3.5-9B,LoRA(rank 16,注意力投影)已合并进权重
- 架构:32 层、hidden_size 4096、词表 248320,支持 262144 上下文长度
- 精度:bfloat16
- 显存:CUDA GPU 约需 19 GB
- 速度:H100 上短决策 p50 约 16 ms、p95 约 18 ms(CUDA graphs,GPU 空闲时)
- 输入限制:超过 16384 token 的输入会被直接拒绝(不会截断)
- 语言:仅英文
选型建议:更看重速度和显存,可选同系列的 4B 版本(约 9 GB,快约 20%);9B v0.3.3 在多项留出检查上领先,两者在 JevBench 公开项上基本打平。
四、效果如何?用白话看懂核心数据
| 评测 | 9B v0.3.3 | 说明 |
|---|---|---|
| Index proxy(16 个来源) | 0.794 | 机会校正后的平均技能值,比 v0.3 的 0.762 明显提升 |
| 留出教师题(362 道) | 0.848 | 训练从未见过的三个领域 |
| 手写难题集(64 道) | 0.859 | 55/64 正确,大幅提升 |
| JevBench 公开项 easy | 1.000 | 48 题全对 |
| JevBench 公开项 standard | 0.958 | 72 题 |
| JevBench 公开项 hard | 0.775 | 111 题 |
| 超 16 选项任务(CLINC150,151 选项) | 0.804 | 靠 knockout 读出完成 |
几个值得留意的点:
- 为什么训练 1.5 个 epoch:团队做了"预注册"扫描——先定好采纳规则再跑实验,1.5 epoch 的三项均值 0.834 显著超过 1 epoch 的 0.798,2 epoch 则未过线,最终采纳 1.5 epoch。这种"先立规则后看结果"的做法在开源社区并不多见。
- 校准(Calibration):教师题 ECE 为 0.043,略差于上一代 9B 的 0.032;hard 层校准也弱于 4B(0.071 vs 0.054),使用概率做下游判断时需注意。
五、快速上手:三条路径
路径 1:本地 Python 运行时(推荐)
先获取模型文件:
git clone https://gitcode.com/hf_mirrors/alibiserikbay/JevK5-9B
然后用 JevK5 运行时读取选项概率(这是官方推荐的读法,通用的 generate() 调用不能完成 JevK5 的决策读出):
from jevk5 import JevK5
model = JevK5("alibiserikbay/JevK5-9B")
result = model.decide(
"I was billed twice for order #4411. Please refund the duplicate charge today.",
{"type": "choice", "instructions": "Which team should handle this?",
"criteria": {"billing": "Payments and refunds", "tech": "Bugs", "sales": "New purchases"}},
)
# {'type': 'choice', 'confidence': 0.993, 'choice': 'billing', 'probabilities': {...}}
路径 2:GGUF 量化,跑在消费级硬件上
官方提供 GGUF 构建(支持 NVIDIA、AMD、Intel 与 Apple GPU,甚至纯 CPU)。9B v0.3.3 的 Q8_0 在 231 个公开 JevBench 题上有 229 题与全精度答案一致,Q5_K_M 一致 228 题。
路径 3:启动服务,提供 TypeSafe 风格接口
jevk5-serve --model alibiserikbay/JevK5-9B --port 8090
服务会暴露 /v1/systemone 端点,方便已有 Jev 工作流平滑切换。
校验文件完整性
仓库附带 SHA256SUMS,可核对每个文件的哈希值,建议下载后校验 model.safetensors:
sha256sum -c SHA256SUMS
六、仓库文件结构一览
| 文件 | 作用 |
|---|---|
| model.safetensors | 9B 模型权重(bf16,LoRA 已合并) |
| config.json | 模型架构配置(32 层、词表等) |
| jevk5_config.json | 两个校准温度,运行时自动读取 |
| generation_config.json | 生成配置(EOS token 等) |
| chat_template.jinja | 对话模板 |
| tokenizer.json / tokenizer_config.json | 分词器 |
| SHA256SUMS | 全部文件的 SHA-256 校验值 |
| README.md | 完整文档:数据、评测、训练细节 |
七、已知局限:用之前请确认
- 仅支持英文
- 需要 CUDA GPU 约 19 GB 显存
- 日期与数字类问题仍偏弱(JevBench hard 层仅 0.47)
- score 类问题最弱(bev-decision 上 0.482)
- 全新"密封"决策场景准确率会明显下降(前代实测)
- 每个配置只跑了单一随机种子,部分 dev 切片仅约 40 行,统计噪声较大
八、总结:谁适合选 JevK5-9B?
✅ 适合:需要低延迟、结果确定、带完整概率输出的自托管决策服务;想替代 TypeSafe Jev 做类型化决策的团队;需要 16 个以上超长选项分类的任务。
⚠️ 不适合:多语言场景、显存低于 19 GB 且无法量化的机器、以及对日期/数字推理要求极高的业务。
一句话总结:JevK5-9B 把"对话式生成"变成了"一次前向传播的概率读出"——零生成 Token、毫秒级响应、每个选项都有可信概率,是目前 Jev 生态中最强的开源替代之一。