Xing-VL2.0-Decision多模态决策模型避坑指南:32768 Token上限与图片重编码等使用限制完整清单
Xing-VL2.0-Decision多模态决策模型避坑指南:32768 Token上限与图片重编码等使用限制完整清单
Xing-VL2.0-Decision 是一个 27B 多模态类型化决策模型:给它"文本 + 最多 4 张图片"的状态、1 个问题、1~255 个选项,它会在一次前向传播中返回每个选项的概率。它不生成文本,本质是分类器而非聊天模型,因此带有一系列与普通大语言模型不同的硬性限制——32,768 Token 输入上限、图片自动重编码、255 个选项上限等。本文逐条列出这些使用限制,帮你提前避开常见坑。
一、先弄清定位:它是决策分类器,不是对话模型 🧭
| 项目 | 说明 |
|---|---|
| 基础模型 | Qwen/Qwen3.8-27B(Qwen3.5 视觉-语言骨干) |
| 输出头 | 255 路线性 readout(readout.safetensors)替换 LM head |
| 输出内容 | 各选项概率(softmax),无文本生成 |
| 精度 / 许可 | bfloat16 / Apache-2.0 |
几个关键点:
- 因为不生成文本,不能用
AutoModelForCausalLM加载,必须使用仓库自带的 rbdash_decision.py 中的RBDashDecision类。 - 推理是"一次前向":取最后一个 token 的隐状态,直接过 255 维 readout 出概率,见 rbdash_decision.py。
- 公开视觉评测得分为 77.78(11 个基准、12,210 行),但这是 Vision 榜单的公开部分,不是排行榜名次。
二、限制一:32,768 Token 硬上限,超限直接报错且不截断 ⚠️
rbdash_decision.py 中 max_length 默认值为 32,768 Token。编码后的输入一旦超过该值会直接抛出错误:
ValueError: Input exceeds 32768 tokens; nothing is truncated
(对应代码见 rbdash_decision.py)
为什么容易撞上?注意两点:
- 图片非常吃 Token:经 processor 切 patch 并 2×2 合并后,约 1,024 像素折合 1 个 token。单张图上限 1,638,400 像素时约消耗 1,600 token,4 张图仅图片部分就要 6,400+ token。
- 文本部分(state + 问题 + 选项描述)与图片共享同一份预算。
避坑方法:
- 输入长文本前先做预算:每次推理后可读取
model.last_usage审计实际 token 用量(含input_tokens、image_tokens),见 rbdash_decision.py。 - 超限时按优先级收缩:先减少图片数量(最多 4 张),再降低图片分辨率,最后精简 state 文本。
- 不要指望"自动截断"——设计明确不截断,因为截断会悄悄改变结果。
提示:分词器本身支持 262,144 的最大长度(tokenizer_config.json),32,768 是推理引擎侧的部署限制,并非模型能力上限。
三、限制二:图片超过 1,638,400 像素会被缩放并重编码 🖼️
图片规则集中在 load_image 与常量定义 rbdash_decision.py:
| 项目 | 规则 |
|---|---|
| 数量 | 每次请求 1~4 张,超出报 At most 4 images per request |
| 单张上限 | 1,638,400 像素 |
| 超限处理 | 保持宽高比,LANCZOS 缩放后重新编码(JPEG 质量 95;PNG 输入仍存为 PNG) |
| 下限 | 最短边提升至不低于 65,536 像素(256×256) |
| 输入形式 | 文件路径、bytes、data URL、PIL 图像 |
三个值得注意的细节:
- 重编码是为了对齐评测条件:官方 77.78 的得分就是在这个流水线上产生的,所以保留了"缩放+重编码"的往返过程。如果你自己预先压缩过图片,反而多引入一层模型训练时没见过的损失。
- JPEG 重编码(quality 95)是有损的,文字密集或低对比度的细节图要留意精度损失。
- PNG 输入保留透明通道;所有图片最终统一转换为 RGB。
- 评测引擎还会校验 processor 是否越过单图像素上限,越过则报错(rbdash_decision_engine.py)。
四、限制三:选项 1~255 个,问题分三种类型 ❓
- 选项数量必须在 1 到 255 之间,上限来自 decision_config.json 中定义的 255 个答案码(A~Z、AA~JT,表格风格命名)。传 0 个或超过 255 个会报
A question needs 1 to 255 options,见 rbdash_decision.py。 - 三种问题类型(
kind参数):choice:多选题,列表会按 A、B、C… 顺序成为选项,也支持字典形式(键即选项标签);noul:是/否问题,直接返回 P(yes);score:有序等级,返回期望得分与概率分布。
- 不能回答自由形式问题:它是"在你给定选项里做分类",不会自己写出答案。想做开放问答,这个模型不合适。
五、限制四:硬件与环境要求 💻
| 项目 | 要求 |
|---|---|
| GPU | 约 60 GB 空闲显存(bfloat16) |
| 依赖 | torch>=2.6、transformers>=5.17(需 Qwen3.5 支持)、safetensors、pillow、huggingface_hub |
| 注意力实现 | 必须使用 sdpa(需要非因果全注意力),见 rbdash_decision.py |
| KV cache | 不支持 |
| 可选加速 | flash-linear-attention(requirements.txt);causal-conv1d(requirements-optional.txt) |
易踩的点:
- 首次运行很慢:
flash-linear-attention依赖 triton 首次编译内核,前几分钟请耐心等待,属正常现象。 - 不装这两个加速包模型也能跑,只是走更慢的 PyTorch 回退路径。
causal-conv1d若没有匹配的预编译 wheel 会从源码编译,需要nvcc,耗时数分钟。- 评测引擎单卡单请求:套件默认的 8 个 worker 线程会在引擎内部串行化,见 rbdash_decision_engine.py。
六、限制五:概率本身的使用前提 📊
- 温度系数 0.9766 仅在 100 行数据上拟合,存于 decision_config.json。官方明确提示:训练分布之外不要把它当可靠概率使用。
- 训练问题只有三种:多选、是/否、分级评分。其他风格的问题,概率仅供参考。
- Prompt 是训练好模型的一部分:不要改动 rbdash_decision.py 中的措辞,system prompt 是固定的(rbdash_decision.py),换说法会改变个别预测。
- 答案码必须能由本仓库的分词器编码为对应 token id,加载时会校验前 32 个答案码,不匹配直接报错(rbdash_decision.py)——换句话说,不能擅自换分词器。
七、避坑速查表 📋
| 现象 / 疑问 | 背后的限制 | 规避方法 |
|---|---|---|
Input exceeds 32768 tokens |
不截断,超限即报错 | 减图片、降分辨率、缩短文本 |
At most 4 images per request |
每次最多 4 张图 | 拆分成多次请求 |
| 图片变模糊 | LANCZOS 缩放 + JPEG 重编码(q95) | 自行预处理到 163 万像素以内 |
A question needs 1 to 255 options |
选项上限 255 | 精简选项 |
AutoModelForCausalLM 加载失败 |
非生成式模型 | 用 RBDashDecision.from_pretrained |
| 首次推理很慢 | triton 内核编译 | 等待几分钟,后续恢复速度 |
| 概率"不准" | 温度只在 100 行上拟合 | 仅在训练分布内使用 |
八、文件地图与快速上手 🚀
| 文件 | 作用 |
|---|---|
| README.md | 项目介绍、用法、评测复现步骤 |
| rbdash_decision.py | 推理入口:RBDashDecision 类 + 命令行 |
| rbdash_decision_engine.py | 接入 Decision Index 评测套件的引擎 |
| decision_config.json | 255 个答案码、token id、温度 |
| config.json | 模型架构参数(Qwen3.5 骨干、bfloat16) |
| requirements.txt / requirements-optional.txt | 必装 / 可选依赖 |
| LICENSE | Apache-2.0 许可 |
快速上手:
pip install -r requirements.txt
from rbdash_decision import RBDashDecision
model = RBDashDecision.from_pretrained("RBDash-Team/Xing-VL2.0-Decision")
r = model.decide("How many organs are in the image?", ["3", "2", "1", "0"], images=["scan.jpg"])
print(r["choice"], r["probabilities"])
也支持命令行:python rbdash_decision.py --model . --question "How many organs?" --option 3 --option 2 --image scan.jpg。
登录后查看全文