Xing-VL2.0-Decision命令行快速指南:--question、--option、--image参数与示例完整清单

原创2026-11-13 11:38:22311 阅读
文章标签:人工智能大模型多模态计算机视觉机器学习Qwen

Xing-VL2.0-Decision命令行快速指南:--question、--option、--image参数与示例完整清单

Xing-VL2.0-Decision 是一款 27B 多模态类型化决策模型:给它一段状态(文本 + 最多 4 张图片)、一个问题、1~255 个选项,它一次前向推理就直接输出每个选项的概率,而不生成任何文本。本文带你快速上手它的命令行工具 rbdash_decision.py,完整讲清 --question、--option、--image 等核心参数的用法与实战示例。

一、先搞懂:它和普通大模型有什么不同?🤔

普通对话模型会逐字生成回答,而 Xing-VL2.0-Decision 更像一个"智能分类器":

  • 一次前向,直接出概率:读取提示词后,取最后一个 token 的隐状态,经 255 路线性读出层(readout.safetensors)得到所有选项的概率分布;
  • 255 个答案编码:从 A 到 JT,像表格列名一样扩展,完整编码表见 decision_config.json;
  • 支持三种问题类型:多选(choice)、是否(noul)、分级打分(score)。

因此它不能用 AutoModelForCausalLM 加载,命令行入口 rbdash_decision.py 才是它唯一的推理通道。

二、一键安装步骤

准备工作只需两步,要求 GPU 显存约 60 GB(bfloat16 精度):

# 1. 获取模型与推理脚本(如需本地副本)
git clone https://gitcode.com/hf_mirrors/RBDash-Team/Xing-VL2.0-Decision
cd Xing-VL2.0-Decision

# 2. 安装依赖(含 flash-linear-attention,首次运行会触发 triton 编译内核,稍慢属正常)
pip install -r requirements.txt

可选加速:causal-conv1d 被有意排除在 requirements.txt 之外(可能需要编译器)。主安装完成后可执行:

pip install --no-build-isolation -r requirements-optional.txt

不装它也能跑,只是走更慢的 PyTorch 回退路径。

三、CLI 参数完整清单

命令行全部参数定义在 rbdash_decision.py,共 7 个:

参数 必填 默认值 说明
--question ✅ — 要决策的问题文本,必填项
--option 视类型 无 单个选项,可重复使用,每个选项传一次
--image 否 空 图片路径,可重复使用,最多 4 张
--kind 否 choice 问题类型:choice / noul / score
--state 否 空字符串 状态描述文本(图片之外的补充上下文)
--model 否 . 本地模型目录或 Hub 仓库 id
--device 否 自动 推理设备(有 CUDA 用 cuda,否则 cpu)

💡 记住一个规律:--option 和 --image 都是"追加型"参数,写几遍就代表几个选项/几张图,顺序即选项字母顺序(A、B、C……)。

四、四类实战示例 🚀

示例 1:带图多选(最常用)

python rbdash_decision.py --model . \
  --question "How many organs are in the image?" \
  --option 3 --option 2 --option 1 --option 0 \
  --image scan.jpg

输出为 JSON:choice 是概率最高的选项键,probabilities 列出每个选项的概率,例如选出 A 表示"3"。

示例 2:是否判断(noul)

python rbdash_decision.py --question "Is the meme hateful?" \
  --kind noul --image meme.png

noul 模式下 --option 会被忽略,输出里的 noul 字段直接就是"是"的概率,适合内容审核类任务。

示例 3:分级打分(score)

python rbdash_decision.py --question "Rate the image quality" \
  --kind score \
  --option "blurred" --option "passable" --option "good" --option "excellent" \
  --image photo.jpg

选项按等级从低到高排列,输出会额外给出 score——即期望等级值(概率加权和),方便做连续评分。

示例 4:纯文本决策(不带图)

python rbdash_decision.py --question "Should this ticket be escalated?" \
  --state "CPU spike at 02:00, no user complaint." \
  --kind noul

没有 --image 也完全合法,模型同样能基于文本状态做决策。

五、输出结果怎么看?

无论哪种类型,命令行都在终端打印一段 JSON:

  • type:本次的问题类型(choice / noul / score);
  • choice:概率最高的选项键(字母编码);
  • noul:是否题中"是"的概率;
  • score:分级题的期望等级;
  • probabilities:全部选项的概率字典。

这套输出结构与 Python API decide() 方法(rbdash_decision.py)完全一致,命令行试通后可无缝迁移到代码中。

六、使用边界与避坑指南 ⚠️

  • 图片上限 4 张,单图超过 1,638,400 像素会自动 LANCZOS 缩放并重新编码(这与官方评测的出分流程一致);
  • 选项上限 255 个,与答案编码表长度对应;
  • 不做截断:输入超过 32,768 tokens 直接报错,请自行精简问题与状态文本;
  • 概率使用了单一拟合温度(0.9766),不要把分布外场景的概率当作可靠置信度;
  • 它是"给定选项的分类器",无法自由生成开放式答案——问题设计阶段就要把候选答案想清楚。

七、延伸:复现官方视觉评测

仓库还内置了 Decision Index 评测引擎 rbdash_decision_engine.py,可把该模型接入公开视觉测试套件(11 个基准、12,210 条数据,官方视觉指数 77.78)。完整步骤见 README.md 的 "Reproduce the public vision evaluation" 一节。注意:提示词是训练模型的一部分,请保持 rbdash_decision.py 原样,改动措辞可能改变个别预测。

📌 小结:--question 定问题,--option 给选项,--image 附证据,--kind 选题型——四个参数组合即可覆盖多选、是否、打分三大决策场景。装上依赖、跑通示例 1,你就能开始用 Xing-VL2.0-Decision 做自己的多模态决策任务了。

登录后查看全文
Xing-VL2.0-Decision