Qwen-Drive-1.0生态指南:Hugging Face权重、GitHub推理代码与技术报告完整资源地图

原创2026-10-19 14:00:121,624 阅读
文章标签:大模型自动驾驶多模态计算机视觉Qwen

Qwen-Drive-1.0生态指南:Hugging Face权重、GitHub推理代码与技术报告完整资源地图

Qwen-Drive-1.0-4B 是面向自动驾驶的视觉语言基础模型(VLM)官方权重仓库,以 Hugging Face 格式发布,首次将 3D 感知、驾驶场景问答(VQA)与运动规划三大能力统一在一个模型框架中。本文带你快速摸清这个仓库的资源地图:哪里是权重、哪里是推理代码、技术报告在哪,以及如何三步跑通推理。

一、Qwen-Drive-1.0 是什么:一个模型,三种驾驶能力 🚗

Qwen-Drive-1.0 基于原生多模态的 Qwen3.5-4B 构建,完全保留预训练 VLM 的架构,在其之上挂载两个外挂模块:

模块 作用 位置
共享 VLM 负责驾驶场景的自由问答,保持通用视觉理解能力 仓库根目录
BEV 感知头 联合完成 3D 目标检测、语义占用预测、BEV 地图分割 perception/
Planning Expert 基于 flow matching 生成未来自车轨迹(50 个点、10 Hz、5 秒) planner-sft/、planner-rl/

它的核心亮点在于"不伤本体":大规模驾驶训练没有造成明显的灾难性遗忘,模型在 MMBench、MMStar 等通用基准上几乎与底模持平,同时在 NAVSIM(PDMS 90.7)、WaymoQA(74.5)、Ego3D(RMSE 7.78)等驾驶基准上取得领先成绩。

二、权重仓库目录结构:完整资源地图 🗺️

整个仓库只有一层主目录 + 三个任务子目录,结构非常清晰:

Qwen-Drive-1.0-4B/          9.1 GB  共享 VLM,单独即可跑 VQA 模式
├── planner-sft/            2.1 GB  模仿学习训练的规划专家
├── planner-rl/             2.1 GB  经奖励优化后的规划专家
└── perception/             0.5 GB  BEV 感知头

根目录下的配套文件都是 transformers 生态的标准件,无需修改,直接加载即可:

💡 小提示:从 config.json 可以看到轨迹设定 num_future_points: 50、trajectory_hz: 10.0,即输出 5 秒、每点 (x, y, heading) 三元素的未来轨迹。

三、三种推理模式怎么选?

不同任务只需加载不同的权重组合,共享同一个 VLM:

  1. VQA 模式:只加载根目录,VLM 独立回答自由格式的驾驶问题("前车为什么急刹?")。
  2. 感知模式:挂载 perception/config.json 定义的 BEV 感知头(200×200 BEV 网格、7 类检测、10 类占用、6 类地图),输出 3D 检测框、占用栅格与地图分割——它是 VLM 表征的"显式 3D 探针",可解释、可检查。
  3. 规划模式:挂载 Planning Expert 生成自车轨迹,支持直接规划与推理规划两种模式。

四、planner-sft 与 planner-rl 如何取舍 🎯

对比项 planner-sft planner-rl
训练方式 监督微调(模仿学习) 在 SFT 基础上做奖励优化(NAVSIM PDMS、WOD-E2E RFS、位移项)
支持模式 直接规划 + 推理规划 奖励优化仅针对推理规划,建议用推理规划模式运行
强项 泛用、开箱即用 闭环安全性与人偏好对齐更优(NAVSIM PDMS 90.7)

一句话建议:追求闭环驾驶安全选 planner-rl + 推理规划;需要灵活切换两种规划模式选 planner-sft。

五、三步跑通推理:最快上手方法 ⚡

第 1 步:安装推理代码

推理代码(含 demo 数据与文档)发布在官方 GitHub 仓库 QwenLM/Qwen-Drive-1.0:

git clone https://github.com/QwenLM/Qwen-Drive-1.0 qwen-drive && cd qwen-drive
pip install -e . --no-build-isolation

第 2 步:下载权重

hf download Qwen/Qwen-Drive-1.0-4B --local-dir Qwen-Drive-1.0-4B

注意:根目录 VLM 与三个子目录的权重都要下载,每个任务头在各自子文件夹里。

第 3 步:加载模型预测轨迹

以规划模式为例,用 QwenDriveForPlanning.from_pretrained 指定 planner 为 planner-rl 子目录,运行 REASONING_PLANNING 模式即可得到 6 条候选轨迹 (6, 50, 3)。GitHub 仓库中的 scripts/demo.py 内置了 4 个规划场景与 6 帧感知数据,无需额外数据即可端到端跑通。

六、配套资源:推理代码与技术报告 📚

  • 推理代码与 demo:QwenLM/Qwen-Drive-1.0(GitHub),包含 qwen_drive 包、示例脚本 scripts/demo.py 与完整文档
  • 模型权重:Hugging Face Qwen/Qwen-Drive-1.0-4B(即本仓库),Apache-2.0 协议
  • 技术报告:《Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving》,arXiv: 2609.00111

引用信息可参考 README 中的 BibTeX 条目(作者:Xin Zhou、Zongchuang Zhao 等,2026)。

七、常见问题 FAQ ❓

Q1:只下载根目录 9.1 GB 能用吗? 可以,但只能跑 VQA 模式;感知和规划分别需要对应子目录的权重(0.5 GB / 2.1 GB),总占用约 13.8 GB。

Q2:硬件要求高吗? 主模型 4B 参数、bfloat16 精度,支持 flash_attention_2,单张主流消费级显卡(约 16 GB 显存起)即可推理。

Q3:模型会"忘记"通用能力吗? 不会。得益于分阶段训练配方(驾驶监督 + 通用视觉语言数据混合),Qwen-Drive-1.0-SFT 在 MMBench(85.5)、MMStar(75.9)等通用基准上与底模 Qwen3.5-4B 基本持平。


总结:Qwen-Drive-1.0-4B 是当前少有的"感知 + 问答 + 规划"一体化自动驾驶 VLM 权重包。资源地图记住一句话即可——根目录是共享 VLM,三个子目录是三个任务头;配合 GitHub 推理代码与 arXiv 技术报告,即可完成从下载、加载到轨迹输出的完整闭环。

登录后查看全文
Qwen-Drive-1.0-4B