Qwen-Drive-1.0生态指南:Hugging Face权重、GitHub推理代码与技术报告完整资源地图
Qwen-Drive-1.0生态指南:Hugging Face权重、GitHub推理代码与技术报告完整资源地图
Qwen-Drive-1.0-4B 是面向自动驾驶的视觉语言基础模型(VLM)官方权重仓库,以 Hugging Face 格式发布,首次将 3D 感知、驾驶场景问答(VQA)与运动规划三大能力统一在一个模型框架中。本文带你快速摸清这个仓库的资源地图:哪里是权重、哪里是推理代码、技术报告在哪,以及如何三步跑通推理。
一、Qwen-Drive-1.0 是什么:一个模型,三种驾驶能力 🚗
Qwen-Drive-1.0 基于原生多模态的 Qwen3.5-4B 构建,完全保留预训练 VLM 的架构,在其之上挂载两个外挂模块:
| 模块 | 作用 | 位置 |
|---|---|---|
| 共享 VLM | 负责驾驶场景的自由问答,保持通用视觉理解能力 | 仓库根目录 |
| BEV 感知头 | 联合完成 3D 目标检测、语义占用预测、BEV 地图分割 | perception/ |
| Planning Expert | 基于 flow matching 生成未来自车轨迹(50 个点、10 Hz、5 秒) | planner-sft/、planner-rl/ |
它的核心亮点在于"不伤本体":大规模驾驶训练没有造成明显的灾难性遗忘,模型在 MMBench、MMStar 等通用基准上几乎与底模持平,同时在 NAVSIM(PDMS 90.7)、WaymoQA(74.5)、Ego3D(RMSE 7.78)等驾驶基准上取得领先成绩。
二、权重仓库目录结构:完整资源地图 🗺️
整个仓库只有一层主目录 + 三个任务子目录,结构非常清晰:
Qwen-Drive-1.0-4B/ 9.1 GB 共享 VLM,单独即可跑 VQA 模式
├── planner-sft/ 2.1 GB 模仿学习训练的规划专家
├── planner-rl/ 2.1 GB 经奖励优化后的规划专家
└── perception/ 0.5 GB BEV 感知头
根目录下的配套文件都是 transformers 生态的标准件,无需修改,直接加载即可:
- 模型权重与配置:model.safetensors、config.json
- 生成与推理参数:generation_config.json
- 视觉预处理配置:preprocessor_config.json
- 词表与分词器:tokenizer.json、tokenizer_config.json、vocab.json、merges.txt
- 对话模板:chat_template.jinja、chat_template.json
💡 小提示:从 config.json 可以看到轨迹设定
num_future_points: 50、trajectory_hz: 10.0,即输出 5 秒、每点 (x, y, heading) 三元素的未来轨迹。
三、三种推理模式怎么选?
不同任务只需加载不同的权重组合,共享同一个 VLM:
- VQA 模式:只加载根目录,VLM 独立回答自由格式的驾驶问题("前车为什么急刹?")。
- 感知模式:挂载 perception/config.json 定义的 BEV 感知头(200×200 BEV 网格、7 类检测、10 类占用、6 类地图),输出 3D 检测框、占用栅格与地图分割——它是 VLM 表征的"显式 3D 探针",可解释、可检查。
- 规划模式:挂载 Planning Expert 生成自车轨迹,支持直接规划与推理规划两种模式。
四、planner-sft 与 planner-rl 如何取舍 🎯
| 对比项 | planner-sft | planner-rl |
|---|---|---|
| 训练方式 | 监督微调(模仿学习) | 在 SFT 基础上做奖励优化(NAVSIM PDMS、WOD-E2E RFS、位移项) |
| 支持模式 | 直接规划 + 推理规划 | 奖励优化仅针对推理规划,建议用推理规划模式运行 |
| 强项 | 泛用、开箱即用 | 闭环安全性与人偏好对齐更优(NAVSIM PDMS 90.7) |
一句话建议:追求闭环驾驶安全选 planner-rl + 推理规划;需要灵活切换两种规划模式选 planner-sft。
五、三步跑通推理:最快上手方法 ⚡
第 1 步:安装推理代码
推理代码(含 demo 数据与文档)发布在官方 GitHub 仓库 QwenLM/Qwen-Drive-1.0:
git clone https://github.com/QwenLM/Qwen-Drive-1.0 qwen-drive && cd qwen-drive
pip install -e . --no-build-isolation
第 2 步:下载权重
hf download Qwen/Qwen-Drive-1.0-4B --local-dir Qwen-Drive-1.0-4B
注意:根目录 VLM 与三个子目录的权重都要下载,每个任务头在各自子文件夹里。
第 3 步:加载模型预测轨迹
以规划模式为例,用 QwenDriveForPlanning.from_pretrained 指定 planner 为 planner-rl 子目录,运行 REASONING_PLANNING 模式即可得到 6 条候选轨迹 (6, 50, 3)。GitHub 仓库中的 scripts/demo.py 内置了 4 个规划场景与 6 帧感知数据,无需额外数据即可端到端跑通。
六、配套资源:推理代码与技术报告 📚
- 推理代码与 demo:
QwenLM/Qwen-Drive-1.0(GitHub),包含qwen_drive包、示例脚本scripts/demo.py与完整文档 - 模型权重:Hugging Face
Qwen/Qwen-Drive-1.0-4B(即本仓库),Apache-2.0 协议 - 技术报告:《Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving》,arXiv: 2609.00111
引用信息可参考 README 中的 BibTeX 条目(作者:Xin Zhou、Zongchuang Zhao 等,2026)。
七、常见问题 FAQ ❓
Q1:只下载根目录 9.1 GB 能用吗? 可以,但只能跑 VQA 模式;感知和规划分别需要对应子目录的权重(0.5 GB / 2.1 GB),总占用约 13.8 GB。
Q2:硬件要求高吗?
主模型 4B 参数、bfloat16 精度,支持 flash_attention_2,单张主流消费级显卡(约 16 GB 显存起)即可推理。
Q3:模型会"忘记"通用能力吗? 不会。得益于分阶段训练配方(驾驶监督 + 通用视觉语言数据混合),Qwen-Drive-1.0-SFT 在 MMBench(85.5)、MMStar(75.9)等通用基准上与底模 Qwen3.5-4B 基本持平。
总结:Qwen-Drive-1.0-4B 是当前少有的"感知 + 问答 + 规划"一体化自动驾驶 VLM 权重包。资源地图记住一句话即可——根目录是共享 VLM,三个子目录是三个任务头;配合 GitHub 推理代码与 arXiv 技术报告,即可完成从下载、加载到轨迹输出的完整闭环。