为什么Wald-26B-A4B不生成文本也能输出概率?one pass字母读出机制全解析

原创2026-11-09 09:58:371,619 阅读
文章标签:人工智能大模型本地部署模型推理服务机器学习

为什么Wald-26B-A4B不生成文本也能输出概率?one pass字母读出机制全解析

Wald-26B-A4B 是一个开源决策模型(decision model):你发送一段"状态"和一组带类型的选项,它返回每个选项的概率——而不是让你去解析一段生成的文本。实现这一切的核心,就是它的 one pass 字母读出机制:一次前向计算,直接从模型下一词元的概率分布中"读出"答案,中位延迟仅 53 ms。本文完整拆解这套机制的原理、流程与部署方式。

为什么"概率,不是文本"更重要?

普通大语言模型(LLM)回答问题时,是一个词元(token)一个词元地"打字":生成慢、结果可能是自由文本,你还需要写解析器把文本转回结构化答案,而且同样的输入可能得到不同的措辞。

Wald-26B-A4B 换了一条路(见 README.md 的 "Why Wald-26B-A4B" 一节):

  • 概率,不是文本:每个选项直接给一个概率,没有任何需要解析的文本;
  • 确定性:默认 one pass 模式不采样、不生成,同一请求永远得到同一结果;
  • 快:在单张 96 GB 显卡上中位延迟 53 ms;
  • 开放:Apache-2.0 许可,BF16 权重约 52 GB,单卡即可运行。

它基于 Gemma 4 26B-A4B(混合专家结构,总参数 26B、每个 token 激活约 4B),经过一轮完整的决策微调训练而成。自测成绩(详见 README.md 的 Scores 表格):

基准 Wald-26B-A4B Jev 1.13(托管)
Decision Index 0.3 公共套件(one pass) 62.30 57.96
JevBench 公共集(231 题) 219 / 231(macro 95.3%) 200 / 231
JevBench-XL TEST(8,177 题) 75.26% 67.85%

one pass 字母读出的核心:不生成,只"读分布"

先建立一个直觉:语言模型每一步本来就会输出整个词表的概率分布,"生成"只是从分布里挑一个 token 而已。Wald 的做法是——不挑,直接把分布拿来用。

整个机制分三步:

第一步:把问题渲染成"字母选项表"

系统把 state(上下文)+ instructions(问题)+ 选项列表,按 Gemma 4 的官方聊天模板(见 chat_template.jinja)渲染成一个以大写字母标号的选项列表,例如:

State:
客户想退回一个损坏的电水壶。

Question: 选择支持队列。
Options:
A. returns: Returns and refunds
B. delivery: Delivery tracking
C. other: Other

Answer with the letter of one option.

系统提示词要求模型"只回复一个字母"(见 reference/eval/vllm_letter.py 的 SYSTEM 常量)。关键在于:提示词到此为止,模型不需要真的回答。

第二步:在最后一个位置读下一词元分布

对这段提示词做一次前向传播(prefill),在最后一个 token 位置取出完整的下一词元 log 概率分布。读出实现位于 reference/eval/systemone_vllm.py 的 readout 方法:请求 vLLM 以 max_tokens=1、temperature=0 计算,并用 logprob_token_ids 指定只取 A–Z 这些字母 token 的 log 概率。

这里有一个小细节:同一个字母在分词器里可能有"裸字母 A"和"带空格 A"两种单 token 编码,读出时取二者之和 z_L = log(P("L") + P(" L"))(原理注释见 reference/midtrain/letter.py,独立实现 reference/eval/vllm_letter.py)。

第三步:softmax 得到每个选项的概率

只取当前问题实际用到的前 n 个字母的 z 值,做一次 softmax 归一化,就得到每个选项的概率,自动满足"总和为 1"。最高概率的字母即为选择答案,并附带一个归一化置信度 confidence = (p_max − 1/K) / (1 − 1/K)(定义见 reference/kev/api.py)。

也就是说:一次前向、零生成 token、无温度表(T=1)、完全确定——这就是 "one pass" 的含义。

完整调用走查:从请求到概率 JSON

部署后模型通过 Jev 兼容的 POST /v1/systemone 接口服务(请求/响应形状定义在 reference/kev/api.py)。一个真实的请求长这样:

curl -s localhost:8000/v1/systemone -H 'Content-Type: application/json' -d '{
  "state": "客户想退回一个损坏的电水壶。",
  "questions": {"route": {"type": "choice",
    "instructions": "选择支持队列。",
    "criteria": {"returns": "Returns and refunds",
                 "delivery": "Delivery tracking",
                 "other": "Other"}}}}'

返回的 answers 中每个问题直接携带结构化结果:

{"type": "choice", "choice": "returns",
 "probabilities": {"returns": 0.92, "delivery": 0.06, "other": 0.02},
 "confidence": 0.87, "mode": "A"}

接口支持三种题型(choice 选项题、noul 是非题、score 评分题)。一个值得注意的运维细节:noul 是非题使用 0.81 的"决断地板"(decisive floor)——概率落在 (0.19, 0.81) 区间内的答案会被推到本侧边缘(0.81 或 0.19),原始值保留在 noul_calibrated 字段中(实现见 reference/eval/systemone_vllm.py)。

超过 26 个选项怎么办?knockout 淘汰赛

字母只有 26 个,那 77 个意图的分类题怎么处理?Wald 用 one-pass knockout(见 reference/eval/systemone_vllm.py 的 wide_read):

  1. 把选项切成若干个近等的 ≤26 块,每块做一次字母读出,选出每块胜者;
  2. 对各块胜者再做一次"决赛"读出;
  3. 最终 P(选项) = P_决赛(所在块) × P_块内(选项),归一化后返回。

全程仍是一轮读出、无生成 token,这也是为什么 BANKING77 这类 77 意图的数据集可以被评测。

Auto 0.7:可选的"先思考,再读出"

one pass 是默认模式,因为它是确定性的且最快。如果希望模型在拿不准时多想想,可以用 Auto 0.7 模式(见 README.md 的 "How it works"):

  • 先做一次 one pass 读出;
  • 若最高概率 低于 0.7,才让模型在 Gemma 4 的原生思考通道里思考一次(上限 512 token,采样温度 0.6 / top-p 0.95 / top-k 20),思考完把选项再读一遍;
  • 思考内容来自基座模型本身,训练时没有专门训练思考文本。

注意:模式在服务器启动时固定,不是按请求选择的。想同时提供两种模式,就在同一个 vLLM 上跑两个 reader(参数差异见 serving.json 的 reader.args / auto_args)。Auto 模式会超过 1,000 ms 的准入延迟,所以官方默认仍是 one pass。

为什么这么快:one pass 的 53 ms 从哪来

"一次前向"省掉了所有自回归解码:没有逐 token 循环、没有采样、没有 KV 增长,单次请求就是一次 prefill。官方在单张 RTX PRO 6000 上串行测量 200 个 Decision Index 0.3 请求(开 CUDA graphs),得到中位 53 ms 的处理时间。部署配置(vLLM 0.30.0、BF16、--max-model-len 131072 --max-num-seqs 128 --max-logprobs 64 --language-model-only 等)记录在 serving.json,并由 run.sh 一键复现。

快速上手:一条命令部署

hf download org2ai/Wald-26B-A4B --local-dir ./Wald-26B-A4B && cd Wald-26B-A4B
./run.sh "$PWD"                 # one pass(默认):POST /v1/systemone 于 :8000
EFFORT=auto ./run.sh "$PWD"     # 可选:Auto 0.7,拿不准时才思考(更慢)

环境要求:Linux、一张 96 GB NVIDIA GPU、uv。run.sh 会创建 Python 3.12 虚拟环境、安装 vLLM 0.30.0 与 transformers 5.17.0、启动 vLLM,然后校验 reference/ 下每个 reader 文件与 reference/source-pins.json 的哈希一致——保证运行的正是被评测过的那份代码。

关键文件索引 📁

文件 作用
README.md 功能、成绩、快速上手与部署说明
serving.json 被评测过的运行时配置(vLLM 参数 + reader 参数)
run.sh 一键启动脚本
reference/eval/systemone_vllm.py 核心 reader:字母读出、knockout、Auto 思考、决断地板
reference/midtrain/letter.py 字母布局(paren / rawlogit / chat)与读出定义
reference/eval/vllm_letter.py 基于 vLLM 的字母读出独立实现
reference/kev/api.py systemone 请求/响应形状(choice / noul / score)
config.json 模型架构配置(Gemma 4 MoE,26B 总参 / 4B 激活)
chat_template.jinja Gemma 4 官方聊天模板

小结

Wald-26B-A4B 的 one pass 字母读出机制可以概括为一句话:把决策问题写成字母选项表,让模型做一次前向,然后把下一词元分布中 A–Z 的概率 mass 归一化,就是每个选项的概率。 不生成文本,所以没有解析、没有采样、没有延迟的尾部风险;配合 knockout 可以处理任意规模选项,再配合可选的 Auto 思考模式,在速度与准确率之间留出了调节空间。如果你需要一个自托管、毫秒级、输出可直接被程序消费的决策/路由模型,这套机制值得细读。

登录后查看全文
Wald-26B-A4B