JevK5-9B完全指南:零生成Token、一次前向传播输出完整概率分布的开源决策模型是什么

原创2026-11-13 11:23:181,455 阅读
文章标签:人工智能大模型微调

JevK5-9B完全指南:零生成Token、一次前向传播输出完整概率分布的开源决策模型是什么

JevK5-9B 是一个 Apache-2.0 开源决策模型:它读取一段状态描述和一个"是/否、多选或打分"问题,在一次前向传播中直接给出所有选项的完整概率分布,全程零生成 Token——不逐字输出答案,因此又准又快(H100 上短决策约 16 ms)。它是 TypeSafe 商业模型 Jev 的独立开源替代品,基于 Qwen3.5-9B 训练,适合自托管场景。

一、什么是"决策模型":和普通对话大模型有何不同?

普通大模型回答问题靠"一个字一个字地生成",答案长度不确定、速度慢,而且无法告诉你它对每个选项有多大把握。

JevK5-9B 换了一种思路 🎯:

  • 输入:一段状态描述(state)+ 一个结构化问题(yes/no、choice 或 score 类型)
  • 输出:每个选项对应的概率,外加最高置信选项和置信度

它采用 SemIf 协议的读出方式:对"答案字母"的下一个 token logits 做 softmax,再除以一个校准温度得到最终概率。由于不需要采样生成,同一个问题跑一万次结果完全一致,非常适合嵌入业务系统做自动分诊、路由、审批判断。

需要说明:JevK5-9B 与 TypeSafe 的 Jev 及其架构无任何关联,是独立的开源实现。

二、核心参数速查:两个温度从哪里来

所有推理参数都放在仓库根目录的 jevk5_config.json 中,运行时会自动读取:

参数 数值 作用
temperature 1.316 单次读出的校准温度,在留出教师题上拟合
knockout_temperature 1.05 选项超过 16 个时的"淘汰赛"分轮读出温度

💡 所谓 knockout(淘汰赛)读出:选项多于 16 个时,模型分多轮、每轮最多 16 个选项逐轮比较,再用第二个温度合并成最终分布。这让它能处理 77 甚至 151 个选项的超长选择任务。

三、模型规格与硬件要求

从 config.json 和 README.md 可以提取关键规格:

  • 基础模型:Qwen3.5-9B,LoRA(rank 16,注意力投影)已合并进权重
  • 架构:32 层、hidden_size 4096、词表 248320,支持 262144 上下文长度
  • 精度:bfloat16
  • 显存:CUDA GPU 约需 19 GB
  • 速度:H100 上短决策 p50 约 16 ms、p95 约 18 ms(CUDA graphs,GPU 空闲时)
  • 输入限制:超过 16384 token 的输入会被直接拒绝(不会截断)
  • 语言:仅英文

选型建议:更看重速度和显存,可选同系列的 4B 版本(约 9 GB,快约 20%);9B v0.3.3 在多项留出检查上领先,两者在 JevBench 公开项上基本打平。

四、效果如何?用白话看懂核心数据

评测 9B v0.3.3 说明
Index proxy(16 个来源) 0.794 机会校正后的平均技能值,比 v0.3 的 0.762 明显提升
留出教师题(362 道) 0.848 训练从未见过的三个领域
手写难题集(64 道) 0.859 55/64 正确,大幅提升
JevBench 公开项 easy 1.000 48 题全对
JevBench 公开项 standard 0.958 72 题
JevBench 公开项 hard 0.775 111 题
超 16 选项任务(CLINC150,151 选项) 0.804 靠 knockout 读出完成

几个值得留意的点:

  • 为什么训练 1.5 个 epoch:团队做了"预注册"扫描——先定好采纳规则再跑实验,1.5 epoch 的三项均值 0.834 显著超过 1 epoch 的 0.798,2 epoch 则未过线,最终采纳 1.5 epoch。这种"先立规则后看结果"的做法在开源社区并不多见。
  • 校准(Calibration):教师题 ECE 为 0.043,略差于上一代 9B 的 0.032;hard 层校准也弱于 4B(0.071 vs 0.054),使用概率做下游判断时需注意。

五、快速上手:三条路径

路径 1:本地 Python 运行时(推荐)

先获取模型文件:

git clone https://gitcode.com/hf_mirrors/alibiserikbay/JevK5-9B

然后用 JevK5 运行时读取选项概率(这是官方推荐的读法,通用的 generate() 调用不能完成 JevK5 的决策读出):

from jevk5 import JevK5

model = JevK5("alibiserikbay/JevK5-9B")
result = model.decide(
    "I was billed twice for order #4411. Please refund the duplicate charge today.",
    {"type": "choice", "instructions": "Which team should handle this?",
     "criteria": {"billing": "Payments and refunds", "tech": "Bugs", "sales": "New purchases"}},
)
# {'type': 'choice', 'confidence': 0.993, 'choice': 'billing', 'probabilities': {...}}

路径 2:GGUF 量化,跑在消费级硬件上

官方提供 GGUF 构建(支持 NVIDIA、AMD、Intel 与 Apple GPU,甚至纯 CPU)。9B v0.3.3 的 Q8_0 在 231 个公开 JevBench 题上有 229 题与全精度答案一致,Q5_K_M 一致 228 题。

路径 3:启动服务,提供 TypeSafe 风格接口

jevk5-serve --model alibiserikbay/JevK5-9B --port 8090

服务会暴露 /v1/systemone 端点,方便已有 Jev 工作流平滑切换。

校验文件完整性

仓库附带 SHA256SUMS,可核对每个文件的哈希值,建议下载后校验 model.safetensors:

sha256sum -c SHA256SUMS

六、仓库文件结构一览

文件 作用
model.safetensors 9B 模型权重(bf16,LoRA 已合并)
config.json 模型架构配置(32 层、词表等)
jevk5_config.json 两个校准温度,运行时自动读取
generation_config.json 生成配置(EOS token 等)
chat_template.jinja 对话模板
tokenizer.json / tokenizer_config.json 分词器
SHA256SUMS 全部文件的 SHA-256 校验值
README.md 完整文档:数据、评测、训练细节

七、已知局限:用之前请确认

  • 仅支持英文
  • 需要 CUDA GPU 约 19 GB 显存
  • 日期与数字类问题仍偏弱(JevBench hard 层仅 0.47)
  • score 类问题最弱(bev-decision 上 0.482)
  • 全新"密封"决策场景准确率会明显下降(前代实测)
  • 每个配置只跑了单一随机种子,部分 dev 切片仅约 40 行,统计噪声较大

八、总结:谁适合选 JevK5-9B?

✅ 适合:需要低延迟、结果确定、带完整概率输出的自托管决策服务;想替代 TypeSafe Jev 做类型化决策的团队;需要 16 个以上超长选项分类的任务。

⚠️ 不适合:多语言场景、显存低于 19 GB 且无法量化的机器、以及对日期/数字推理要求极高的业务。

一句话总结:JevK5-9B 把"对话式生成"变成了"一次前向传播的概率读出"——零生成 Token、毫秒级响应、每个选项都有可信概率,是目前 Jev 生态中最强的开源替代之一。

登录后查看全文
JevK5-9B