RLDX-1-VLM与Qwen3-VL-8B-Instruct有何不同?机器人感知骨干改造全解析
RLDX-1-VLM与Qwen3-VL-8B-Instruct有何不同?机器人感知骨干改造全解析
RLDX-1-VLM 是一个专为机器人策略(robot policy)改造的 8B 级视觉语言模型(VLM)骨干,基于 Qwen3-VL-8B-Instruct 检查点独立发布。它不是聊天助手,而是 RLDX-1 机器人策略家族的"感知编码器":负责把图像/视频理解压缩成紧凑的感知摘要,供动作模型消费。这篇文章带你 3 分钟看懂:它与原版 Qwen3-VL-8B-Instruct 到底改了什么、怎么加载、适合谁用。
一句话结论:同一副骨架,两种用途 🎯
两者共享同一套 Qwen3VLForConditionalGeneration 架构(见 config.json),核心差异在于词表扩展与角色定位:
| 维度 | Qwen3-VL-8B-Instruct | RLDX-1-VLM |
|---|---|---|
| 定位 | 通用多模态对话助手(图文/视频问答) | 机器人策略的感知骨干(perception backbone) |
| 词表 | 约 15.1 万基础 token | 153,720,新增 2077 个特殊 token |
| 机器人动作词元 | 无 | 2048 个离散动作 token(`< |
| 动作预测能力 | 不具备 | 需搭配 RLDX-1-PT/FT/MT 策略头单独使用 |
| 许可证 | 上游许可证 | RLWRLD Model License v1.0(非商用) |
| 安全对齐 | 经过指令微调与安全处理 | 未在上游基础上做额外安全调优 |
改造点一:词表里多了 2048 个"动作"token 🔢
这是最直观的差别。打开 added_tokens.json 可以看到,RLDX-1-VLM 在 Qwen3-VL 基础词表(151643)之上追加了 2077 个 token:
<|action_0|>~<|action_2047|>:2048 个离散动作词元,把连续动作空间量化成"可被语言模型采样"的类别;<|action_start|>、<|action_end|>、<|action_placeholder|>:动作序列的边界与占位控制 token;- 其余为 thinking 等对话功能 token。
词表配置与映射分别记录在 tokenizer_config.json、special_tokens_map.json 中,vocab.json 与 merges.txt 沿用 Qwen3-VL 的分词体系。对使用者的实际意义:这个模型"认识"机器人动作词汇,但其词元嵌入本身不产出动作——动作预测由独立的 Multi-Stream Action Transformer(MSAT)策略头完成。
改造点二:从"聊天助手"变"感知编码器" 🧠
在 RLDX-1 体系中,RLDX-1-VLM 的角色是一个感知堆栈(perceptual stack):
- 图像/视频经视觉编码器(27 层 ViT,patch 大小 16,时域 patch 2,支持 deepstack 多层特征注入)编码;
- 认知 token(cognition tokens) 被注入该骨干,通过 Qwen3-VL 的隐藏状态路由;
- 输出一份紧凑的感知摘要(perceptual summary),交给 MSAT 动作模型生成控制指令。
⚠️ 注意(来自 README.md 的官方说明):该检查点只暴露标准 Qwen3-VL VLM 接口,不包含 MSAT 动作头、认知 token 模块、记忆/运动/物理模块和 RLDX 推理服务器。单独加载它不会输出任何机器人指令,做动作预测必须搭配 RLDX-1-PT、RLDX-1-FT-* 或 RLDX-1-MT-* 检查点。
改造点三:许可证与使用边界 ⚖️
RLDX-1-VLM 采用 RLWRLD Model License v1.0(LICENSE.md)——非商用许可,附带署名(attribution)与相同方式共享(share-alike)要求。同时官方明确:它不是通用聊天助手,安全对齐止步于 Qwen3-VL 上游水平。如果你的项目是商业用途或面向公众的对话产品,需要特别注意这一边界。
快速上手:加载 RLDX-1-VLM 的最小代码 🚀
模型约 8.78B 参数、17.56 GB(bfloat16),单张 24GB 显存的 GPU 即可加载。按 README.md 的 Quick start,用 Hugging Face Transformers 即可:
from transformers import AutoModelForImageTextToText, AutoProcessor
model = AutoModelForImageTextToText.from_pretrained(
"RLWRLD/RLDX-1-VLM",
torch_dtype="bfloat16",
device_map="cuda:0",
)
processor = AutoProcessor.from_pretrained("RLWRLD/RLDX-1-VLM")
如需离线使用,可下载本仓库权重(共 4 个分片:model-00001-of-00004.safetensors ~ model-00004-of-00004.safetensors,索引见 model.safetensors.index.json),然后指向本地目录即可。
典型用途(官方 Intended use):
- 作为
--backbone-path参数,微调一个全新的 RLDX-1 机器人策略; - 做 VLM-only 消融实验、密集描述(dense-captioning)或感知探针研究。
关键配置速查:架构到底什么样?📋
config.json 中值得注意的参数:
| 组件 | 参数 | 值 |
|---|---|---|
| 文本骨干 | 层数 / 隐层维度 | 36 / 4096 |
| 文本骨干 | 注意力头 / KV 头 | 32 / 8(GQA 分组) |
| 文本骨干 | 最大上下文 | 262,144 token |
| 视觉编码器 | 层数 / 隐层维度 | 27 / 1152 |
| 视觉编码器 | patch 尺寸 / 空间合并 | 16 / 2 |
| 视觉编码器 | deepstack 注入层 | 第 8、16、24 层 |
| 精度 | dtype | bfloat16 |
图像与视频预处理参数分别在 preprocessor_config.json 和 video_preprocessor_config.json 中;对话模板见 chat_template.jinja。采样默认值(temperature 0.7、top_k 20、top_p 0.8)在 generation_config.json 里定义。
常见问题 FAQ 💬
Q1:RLDX-1-VLM 能直接当聊天 VLM 用吗? 可以加载并对话(接口与 Qwen3-VL 完全一致),但官方不推荐把它当通用助手,且未做额外安全调优,主要价值在机器人感知场景。
Q2:为什么不直接把动作头一起发? 解耦发布是刻意为之:让研究者可以独立检查、微调或替换感知堆栈。感知骨干(本仓库)与动作策略(RLDX-1-PT/FT/MT)各司其职。
Q3:显存不够 24GB 怎么办?
可用 device_map="auto" 做 CPU/多卡分片,或以 fp8/int8 量化方式推理;8.78B 规模在消费级双卡上也能跑。
小结 📌
RLDX-1-VLM 与 Qwen3-VL-8B-Instruct 的差异,本质是**"通用对话 VLM"到"机器人感知骨干"的一次定向改造**:架构骨架不变,词表多了 2048 个动作 token,角色从回答用户变为服务动作策略。做机器人 VLM 骨干微调、感知消融实验的同学,值得把这份检查点纳入工具箱;而只是想找一个好用的多模态聊天模型,原版 Qwen3-VL-8B-Instruct 仍是更直接的选择。