选项概率是什么?一篇读懂AutoTrust-Decider-Pro-Vision-27B-v1.1的核心决策机制
选项概率是什么?一篇读懂AutoTrust-Decider-Pro-Vision-27B-v1.1的核心决策机制
AutoTrust-Decider-Pro-Vision-27B-v1.1 是一款开源的 AI 决策模型,它不像普通大语言模型那样"写出一段答案",而是直接为题目里的每个选项输出一个选项概率——概率最高的选项就是最终决策。本文用大白话带你读懂这套核心决策机制:选项概率怎么算、255 个选项码是怎么回事、如何用 vLLM 快速部署,以及它的实测能力如何。
一、为什么是"选项概率"而不是"生成文字"?🤔
普通大模型回答问题靠"一个字一个字往外蹦",结果不可控、难量化;而 AutoTrust 决策模型把任务变成了分类问题:
- 你给它一道题(选择题或"是/否"判断题);
- 它给每个选项一个 0~1 的概率,所有概率加起来恰好等于 1;
- 哪个选项概率最高,它就"选"哪个。
打个比方:这就像一次盲测投票——模型在心里对每个选项各投一票,票仓占比就是选项概率。好处是:
| 对比项 | 普通生成式模型 | AutoTrust 决策模型 |
|---|---|---|
| 输出形式 | 自由文本,长度不定 | 每个选项一个概率,结构固定 |
| 可解释性 | 需阅读整段回答 | 一眼看出"它有多确定" |
| 速度 | 逐 token 生成,慢 | 只读 1 个 token 的置信度,快 |
| 典型延迟 | 数百毫秒到数秒 | 官方实测中位数 64.8 ms |
它的评估输出就只报选项概率,不生成任何思维链(见 README.md 的评估条件说明),这正是"决策专用模型"的设计取向。
二、核心概念:选项概率到底怎么来?
用一个 3 选项的例子说明(支持的问题类型只有 choice 选择题和 noul 是/否题,纯文本输入):
问题:用户说"帮我把空调调到 24 度",最该调用哪个工具?
- A:set_temperature
- B:open_device
- C:turn_off_device
模型输出:
{A: 0.87, B: 0.10, C: 0.03}→ 选 A
背后的完整流程只有 5 步,jev_vllm_engine.py 和 jev_format.py 就是这套流程的实现:
- 把选项编上"代码":jev_format.py 中的
user_prompt会把题目渲染成带编码选项的提示词,每个选项分配一个短代码——A、B、C……Z、AA、AB……最多 255 个。 - 整题"双向"读一遍:部署时开启
STARTLUX_PREFIX_BIDIR=1前缀双向注意力插件(见 serve_vllm.sh),模型像它训练时那样同时从前后两个方向读完整段提示词,而不是只能从左往右看。 - 只"采样" 1 个 token,且只能落在选项码上:请求限制
max_tokens=1,并用allowed_token_ids把候选收窄到题目实际的 n 个选项码(jev_vllm_engine.py 的_readout)。 - 把 log 概率换算成概率:取出 n 个选项码的 logprobs,减去最大值做数值稳定化,再按 vllm_readout.json 中的
temperature做 softmax,就得到一组总和为 1 的概率。 - 归一化 + 取最大:jev_format.py 的
to_answer校验"每个选项一个分数、非负、总和为正"后归一化;选择题返回概率最高的选项及全部概率,是/否题直接返回"是"的概率。
整个过程不写推理、不生成解释,所以又快又稳定。
三、255 个选项码藏在哪里?💾
"选项概率"不是凭空产生的,模型仓库里有两个关键文件把它"物化"了:
- vllm_readout.json:记录了 255 个选项码(A~JT)对应的 token id 清单、温度参数和说明。
- lm_head.safetensors:输出层权重。其中恰好 255 行对应选项码,其余行全部置零——相当于把"决策读出头"直接折叠进了 lm_head,模型输出层天然只会给选项码打分。
decision_config.json 则声明了这套契约:格式 ID 为 jev-code-readout-v1、基座模型为 Qwen 系 27B、注意力模式 noncausal_full_attention(非因果全注意力,对应双向阅读)、取最后一个位置做池化。
💡 对新手来说记住一句话即可:选项概率 = 模型在"只能回答选项码"的约束下,对每个码的打分经过 softmax 后的占比。
四、如何快速部署:vLLM 一键启动 🚀
模型通过 vLLM 提供服务,仓库自带启动脚本 serve_vllm.sh。几个决定结果正确性的关键参数:
| 参数 | 作用 | 新手提醒 |
|---|---|---|
STARTLUX_PREFIX_BIDIR=1 |
开启双向阅读插件 | 脚本内已自动设置,缺了它结果会偏离 |
--logprobs-mode processed_logprobs |
返回处理后的 log 概率 | 选项概率的来源,必须保留 |
--max-logprobs 255 |
最多返回 255 个码的概率 | 与选项码数量一致 |
--no-enable-prefix-caching --no-enable-chunked-prefill |
关闭前缀缓存与分块预填充 | 官方结果即在此配置下测得 |
MAX_LEN=32768 |
80GB 显卡上的推荐长度 | 默认 65536,显存不足时可调小 |
服务起来后,vLLM 接口本身并不是"决策 API"——真正把它变成决策引擎的是仓库里的 jev_vllm_engine.py:负责渲染提示词、发起单 token 受限请求、把 log 概率转回选项概率。官方评测就是这么驱动它跑完 14 万+ 道可评分请求的。
五、实测表现:选项概率靠不靠谱?📊
在 Decision Index 0.3 公开基准套件(37 项基准)上,模型的公开指数分为 67.31,其中"工具选择、意图分类、日常自动化决策"是最强项:
- CLINC150+OOS 意图分类:97.06(含范围外识别)
- BFCL 工具选择:96.25
- BANKING77 银行意图分类:93.63
- HoVer 声明核验:89.12
完整分区成绩(Tools & Automation 85.19 为最高分区)可见 README.md 的 "Scores by area" 表格。
也要诚实看待短板:HLE 接近随机水平,国际象棋(ChessBench)、幽默偏好等任务仍偏弱;官方明确提示,这些分数只说明基准表现,不构成概率校准或高风险场景适用性的保证——在你自己的业务数据上验证之前,不要直接盲信这些概率。
六、常见问题速答(FAQ)❓
Q1:一道题最多能放多少个选项? 255 个(对应 A~JT 共 255 个选项码),超过会直接报"超出 255 个答案码"而拒绝处理。
Q2:支持图片、视频输入吗? 不支持。本版本是纯文本决策引擎(训练即为纯文本),收到图片/视频请求会明确返回"不支持"。
Q3:是/否题(noul)怎么读结果?
它只返回"是/true"一侧的概率(noul 字段),比如 0.92 表示模型 92% 地认为成立。
Q4:概率加起来一定是 1 吗?
一定是。引擎侧 softmax 天然归一,jev_format.py 的 normalized 还会再做一次校验与归一化,双保险。
Q5:和直接让大模型"输出 JSON 概率"有什么区别? 普通模型是"假装"输出概率,数值不可靠;本模型的输出层只保留选项码打分通道(其余置零),且整题双向阅读、单 token 受限解码,概率来自模型真正的置信度分布,结构上更可靠、也更省算力。
写在最后
一句话总结 AutoTrust-Decider-Pro-Vision-27B-v1.1 的核心机制:把"做决策"变成"给选项打分"——255 个选项码、一次双向阅读、一个受限 token、一轮 softmax,就得到了可直接用于工程决策的选项概率。 无论你是想用它做意图分类、工具选择,还是研究"可解释概率"式的 AI 决策,这套 jev_format.py + jev_vllm_engine.py 的组合都是理解它的最佳入口。