什么是AutoTrust-Decider-Pro-Vision-27B-v1.1?一文看懂255路代码读头的结构化决策模型

原创2026-11-12 11:11:511,332 阅读
文章标签:人工智能大模型NLP模型推理服务模型评测Qwen

什么是AutoTrust-Decider-Pro-Vision-27B-v1.1?一文看懂255路代码读头的结构化决策模型

AutoTrust-Decider-Pro-Vision-27B-v1.1(官方名称 AutoTrust-JEV-27B v1.1)是一款 27B 参数级的结构化决策模型:它不像聊天模型那样"说话",而是把题目里的每个选项当作候选答案,用 255 路代码读头(code readout) 一次性给所有选项打出概率。本文带你一文看懂它的原理、实测成绩与部署方法。

项目速览 信息
模型规模 27B 参数,bfloat16,基于 Qwen3.5 架构
核心能力 给题目选项输出概率(选择题 + 是/否题,纯文本)
公开榜单 Decision Index 0.3 公共索引 67.31(37 项基准、14 万+ 次请求)
开源协议 Apache-2.0

🔍 什么是结构化决策模型?

普通大语言模型擅长生成自由文本,而决策模型的任务是"在给定选项中做判断"。AutoTrust-JEV-27B v1.1 的工作方式是:

  1. 收到一道带选项的题目(如"选哪个工具""这句话是真是假");
  2. 模型双向通读整个提示词(非因果注意力,一次性看完所有上下文);
  3. 只输出一个 token,且被限制在 255 个"选项代号"里;
  4. 把这 255 个代号的 logprobs 做一次 softmax,得到每个选项的概率。

简单说:它不写答案,而是给"每个选项有多对"打分——这正是智能体路由、工具选择、意图分类等场景需要的输出形式。

与通用大模型的关键差异:输出是选项概率分布而非生成文本,注意力是双向非因果的,采样被限定在选项代号集合内。

⚙️ 255路代码读头是如何工作的?

这是本模型最核心的设计,可以拆成三步理解:

① 固定格式的题目渲染

所有题目都被 jev_format.py 渲染成统一模板:State:(背景数据)→ Question:(指令)→ Options:(每个选项一行,依次标注代号 A、B……Z、AA……JT),结尾要求"只回复最佳选项的代号"。题目格式在 jev_format.py 的系统提示中定义——改任何一个字节都会影响输入,所以调用时必须严格遵循该格式。

② 双向阅读整个提示词

config.json 中声明了 "jev_prompt_attention": "bidirectional",即模型以训练时的方式双向读取整段提示词,而不是逐字自回归地"看"。这也是部署时必须开启 StartLux 前缀双向插件(STARTLUX_PREFIX_BIDIR=1)的原因。

③ 一个 token 打出 255 路分数

引擎 jev_vllm_engine.py 对每道题发起一次"生成 1 个 token"的请求:通过 allowed_token_ids 把采样范围锁死在前 N 个选项代号上,取回处理后 logprobs(processed_logprobs,上限 255),按温度 1.0 做 softmax,即得各选项概率。255 个代号与 token id 的完整对照表保存在 decision_config.json 与 vllm_readout.json 中,读头权重已直接折叠进 lm_head.safetensors 的对应行,因此无需额外加载分类器。

题目(带 A/B/C... 选项) ──> 双向编码整个提示词
                        ──> 限定 255 个选项代号, 生成 1 token
                        ──> logprobs softmax ──> 每个选项的概率

📊 实测成绩:37 项基准跑出了什么水平?

作者在 Decision Index 0.3 公开测试套件上完成了完整本地评测(官方评测工具、vLLM 0.31.0、单卡 NVIDIA B300、140,178 次可评分请求):

公开索引 67.31 分(原始索引 75.62),五大能力区得分如下:

能力区 基准数 得分
工具与自动化(Tools & Automation) 5 85.19
语言理解(Language Understanding) 9 73.38
检索与分类(Retrieval & Classification) 6 66.97
知识与推理(Knowledge & Reasoning) 11 55.16
艺术与人类品味(Arts & Human Taste) 6 51.08

单项亮点:

能力 基准 得分
意图分类(含越界检测) CLINC150+OOS 97.06
工具选择 BFCL 96.25
银行意图分类 BANKING77 93.63
家电控制决策 Home appliance simulator 89.77
API 使用决策 API-Bank 87.36
事实核查 HoVer 78.24

⚡ 本地并发压测下,单请求中位延迟 64.8 ms、均值 178.8 ms、p95 约 800.5 ms。完整的分区得分表与对比数据(对照 JEV-27B、Jev 1.14 两版参照模型)见 README.md,榜单与开发过程图表见仓库内的 assets/leaderboard.png 和 assets/benchmarks.png。

🚀 快速部署:用 vLLM 一键拉起

部署只需四步(官方要求 vLLM 0.31.0):

pip install vllm==0.31.0 transformers==5.17.0 startlux-decide
git clone https://gitcode.com/hf_mirrors/autotrust/AutoTrust-Decider-Pro-Vision-27B-v1.1
bash AutoTrust-Decider-Pro-Vision-27B-v1.1/serve_vllm.sh AutoTrust-Decider-Pro-Vision-27B-v1.1

启动脚本 serve_vllm.sh 会自动设置关键参数:STARTLUX_PREFIX_BIDIR=1(双向阅读)、关闭前缀缓存与分块 prefill、--max-logprobs 255 与 FlashAttention。80GB 显存建议设 MAX_LEN=32768。

服务就绪后,vLLM 端点本身并不是"决策 API",需通过仓库自带的引擎接入评测/决策工具链:

PYTHONPATH=AutoTrust-Decider-Pro-Vision-27B-v1.1 python -m decision_index run \
  --engine jev_vllm_engine:JevVllmEngine \
  --option model=AutoTrust-Decider-Pro-Vision-27B-v1.1 \
  --option url=http://127.0.0.1:8090/v1 --out runs/autotrust-jev-27b-v1.1

支持的问题类型为 choice(多选)与 noul(是/否),输入仅限文本;图片/视频请求会被引擎明确拒绝(jev_vllm_engine.py)。

📁 仓库文件速览

文件 作用
README.md 完整说明:成绩、评测条件、使用方法
jev_format.py 题目渲染与答案代号的"契约"(255 路上限在此定义)
jev_vllm_engine.py vLLM 决策引擎:渲染→请求→概率换算
decision_config.json 255 个选项代号 ↔ token id 对照表
vllm_readout.json 读头配置:token ids、温度、权重来源说明
lm_head.safetensors 折叠了决策读头权重的输出层
serve_vllm.sh 一键启动 vLLM 服务的脚本
config.json 模型结构(64 层、双向注意力声明等)
chat_template.jinja 对话模板(含思考开关与工具调用格式)
LICENSE Apache-2.0 许可

⚠️ 适用场景与局限

✅ 擅长的:工具选择、意图分类、日常自动化决策、事实核查与文本推理(合同/医疗场景),是构建"选项式"智能体决策层的理想底座。

🚫 注意的:HLE 基准接近随机水平,棋类博弈、幽默偏好等任务偏弱;它是选项打分而非自由作答模型,也不支持图像/视频输入(尽管名字带 Vision,当前引擎为纯文本)。

📌 官方也提醒:以上成绩基于公开测试集,不能直接等同于生产环境可靠性——落地前请务必在自己的真实数据上验证概率校准与决策质量。

登录后查看全文
AutoTrust-Decider-Pro-Vision-27B-v1.1