选项概率是什么?一篇读懂AutoTrust-Decider-Pro-Vision-27B-v1.1的核心决策机制

原创2026-11-12 21:13:361,855 阅读
文章标签:人工智能大模型NLP模型推理服务模型评测Qwen

选项概率是什么?一篇读懂AutoTrust-Decider-Pro-Vision-27B-v1.1的核心决策机制

AutoTrust-Decider-Pro-Vision-27B-v1.1 是一款开源的 AI 决策模型,它不像普通大语言模型那样"写出一段答案",而是直接为题目里的每个选项输出一个选项概率——概率最高的选项就是最终决策。本文用大白话带你读懂这套核心决策机制:选项概率怎么算、255 个选项码是怎么回事、如何用 vLLM 快速部署,以及它的实测能力如何。

一、为什么是"选项概率"而不是"生成文字"?🤔

普通大模型回答问题靠"一个字一个字往外蹦",结果不可控、难量化;而 AutoTrust 决策模型把任务变成了分类问题:

  • 你给它一道题(选择题或"是/否"判断题);
  • 它给每个选项一个 0~1 的概率,所有概率加起来恰好等于 1;
  • 哪个选项概率最高,它就"选"哪个。

打个比方:这就像一次盲测投票——模型在心里对每个选项各投一票,票仓占比就是选项概率。好处是:

对比项 普通生成式模型 AutoTrust 决策模型
输出形式 自由文本,长度不定 每个选项一个概率,结构固定
可解释性 需阅读整段回答 一眼看出"它有多确定"
速度 逐 token 生成,慢 只读 1 个 token 的置信度,快
典型延迟 数百毫秒到数秒 官方实测中位数 64.8 ms

它的评估输出就只报选项概率,不生成任何思维链(见 README.md 的评估条件说明),这正是"决策专用模型"的设计取向。

二、核心概念:选项概率到底怎么来?

用一个 3 选项的例子说明(支持的问题类型只有 choice 选择题和 noul 是/否题,纯文本输入):

问题:用户说"帮我把空调调到 24 度",最该调用哪个工具?

  • A:set_temperature
  • B:open_device
  • C:turn_off_device

模型输出:{A: 0.87, B: 0.10, C: 0.03} → 选 A

背后的完整流程只有 5 步,jev_vllm_engine.py 和 jev_format.py 就是这套流程的实现:

  1. 把选项编上"代码":jev_format.py 中的 user_prompt 会把题目渲染成带编码选项的提示词,每个选项分配一个短代码——A、B、C……Z、AA、AB……最多 255 个。
  2. 整题"双向"读一遍:部署时开启 STARTLUX_PREFIX_BIDIR=1 前缀双向注意力插件(见 serve_vllm.sh),模型像它训练时那样同时从前后两个方向读完整段提示词,而不是只能从左往右看。
  3. 只"采样" 1 个 token,且只能落在选项码上:请求限制 max_tokens=1,并用 allowed_token_ids 把候选收窄到题目实际的 n 个选项码(jev_vllm_engine.py 的 _readout)。
  4. 把 log 概率换算成概率:取出 n 个选项码的 logprobs,减去最大值做数值稳定化,再按 vllm_readout.json 中的 temperature 做 softmax,就得到一组总和为 1 的概率。
  5. 归一化 + 取最大:jev_format.py 的 to_answer 校验"每个选项一个分数、非负、总和为正"后归一化;选择题返回概率最高的选项及全部概率,是/否题直接返回"是"的概率。

整个过程不写推理、不生成解释,所以又快又稳定。

三、255 个选项码藏在哪里?💾

"选项概率"不是凭空产生的,模型仓库里有两个关键文件把它"物化"了:

  • vllm_readout.json:记录了 255 个选项码(A~JT)对应的 token id 清单、温度参数和说明。
  • lm_head.safetensors:输出层权重。其中恰好 255 行对应选项码,其余行全部置零——相当于把"决策读出头"直接折叠进了 lm_head,模型输出层天然只会给选项码打分。

decision_config.json 则声明了这套契约:格式 ID 为 jev-code-readout-v1、基座模型为 Qwen 系 27B、注意力模式 noncausal_full_attention(非因果全注意力,对应双向阅读)、取最后一个位置做池化。

💡 对新手来说记住一句话即可:选项概率 = 模型在"只能回答选项码"的约束下,对每个码的打分经过 softmax 后的占比。

四、如何快速部署:vLLM 一键启动 🚀

模型通过 vLLM 提供服务,仓库自带启动脚本 serve_vllm.sh。几个决定结果正确性的关键参数:

参数 作用 新手提醒
STARTLUX_PREFIX_BIDIR=1 开启双向阅读插件 脚本内已自动设置,缺了它结果会偏离
--logprobs-mode processed_logprobs 返回处理后的 log 概率 选项概率的来源,必须保留
--max-logprobs 255 最多返回 255 个码的概率 与选项码数量一致
--no-enable-prefix-caching --no-enable-chunked-prefill 关闭前缀缓存与分块预填充 官方结果即在此配置下测得
MAX_LEN=32768 80GB 显卡上的推荐长度 默认 65536,显存不足时可调小

服务起来后,vLLM 接口本身并不是"决策 API"——真正把它变成决策引擎的是仓库里的 jev_vllm_engine.py:负责渲染提示词、发起单 token 受限请求、把 log 概率转回选项概率。官方评测就是这么驱动它跑完 14 万+ 道可评分请求的。

五、实测表现:选项概率靠不靠谱?📊

在 Decision Index 0.3 公开基准套件(37 项基准)上,模型的公开指数分为 67.31,其中"工具选择、意图分类、日常自动化决策"是最强项:

  • CLINC150+OOS 意图分类:97.06(含范围外识别)
  • BFCL 工具选择:96.25
  • BANKING77 银行意图分类:93.63
  • HoVer 声明核验:89.12

完整分区成绩(Tools & Automation 85.19 为最高分区)可见 README.md 的 "Scores by area" 表格。

也要诚实看待短板:HLE 接近随机水平,国际象棋(ChessBench)、幽默偏好等任务仍偏弱;官方明确提示,这些分数只说明基准表现,不构成概率校准或高风险场景适用性的保证——在你自己的业务数据上验证之前,不要直接盲信这些概率。

六、常见问题速答(FAQ)❓

Q1:一道题最多能放多少个选项? 255 个(对应 A~JT 共 255 个选项码),超过会直接报"超出 255 个答案码"而拒绝处理。

Q2:支持图片、视频输入吗? 不支持。本版本是纯文本决策引擎(训练即为纯文本),收到图片/视频请求会明确返回"不支持"。

Q3:是/否题(noul)怎么读结果? 它只返回"是/true"一侧的概率(noul 字段),比如 0.92 表示模型 92% 地认为成立。

Q4:概率加起来一定是 1 吗? 一定是。引擎侧 softmax 天然归一,jev_format.py 的 normalized 还会再做一次校验与归一化,双保险。

Q5:和直接让大模型"输出 JSON 概率"有什么区别? 普通模型是"假装"输出概率,数值不可靠;本模型的输出层只保留选项码打分通道(其余置零),且整题双向阅读、单 token 受限解码,概率来自模型真正的置信度分布,结构上更可靠、也更省算力。

写在最后

一句话总结 AutoTrust-Decider-Pro-Vision-27B-v1.1 的核心机制:把"做决策"变成"给选项打分"——255 个选项码、一次双向阅读、一个受限 token、一轮 softmax,就得到了可直接用于工程决策的选项概率。 无论你是想用它做意图分类、工具选择,还是研究"可解释概率"式的 AI 决策,这套 jev_format.py + jev_vllm_engine.py 的组合都是理解它的最佳入口。

登录后查看全文
AutoTrust-Decider-Pro-Vision-27B-v1.1