10分钟跑通Mini-InternVL2-4B-DA-DriveLM:自动驾驶VLM快速上手与完整代码教程
10分钟跑通Mini-InternVL2-4B-DA-DriveLM:自动驾驶VLM快速上手与完整代码教程
Mini-InternVL2-4B-DA-DriveLM 是 OpenGVLab 开源的自动驾驶领域多模态大模型(VLM),基于 Mini-InternVL 架构,在 DriveLM 自动驾驶数据集上完成领域适配,约 4B 参数,单张消费级显卡即可部署。本文带你 10 分钟跑通从环境安装、模型获取到完整推理代码的每一步,零基础上手自动驾驶 VLM。
一、30 秒了解模型:它是什么、能干什么?
Mini-InternVL 系列主打"小参数量、大模型能力"——用约 5% 的参数达到旗舰多模态模型约 90% 的性能。而 DA-DriveLM 版本是专为自动驾驶场景微调的领域适配模型,擅长:
- 🚗 驾驶场景理解:描述道路画面、识别车辆/行人/信号灯
- 🧭 交通问答:回答"前方是否有行人横穿"这类安全关键问题
- 📷 多图对比分析:拼接或独立输入多张行车画面进行对比
模型架构一览(来自 config.json)
| 组件 | 配置 | 说明 |
|---|---|---|
| 语言模型 | Phi-3-mini-128k | 32 层,hidden_size=3072,支持 128K 上下文 |
| 视觉编码器 | InternViT(intern_vit_6b) | 24 层,输入图像尺寸 448×448 |
| 动态切片 | max_dynamic_patch=12 | 大图自动切成最多 12 块 + 缩略图,细节不丢失 |
| 精度 | bfloat16 | 显存占用友好 |
| 训练数据 | DriveLM + ShareGPT4V 等 | 覆盖 CVPR 2024 自动驾驶挑战赛场景 |
💡 同系列还有 1B / 2B 版本和 BDD、遥感(RS)、医疗(Medical)领域适配模型,低显存设备可换小一号,接口完全一致。
二、快速安装步骤:1 分钟准备好运行环境
环境要求不高,只需 Python 3.10+ 和 NVIDIA 显卡(建议 16GB+ 显存)。
# 创建虚拟环境(可选,推荐 conda 或 venv)
pip install torch torchvision
pip install "transformers>=4.37.2" # ⚠️ 版本低于 4.37.2 模型无法正常工作
pip install pillow decord numpy
关于 flash-attn:README 示例中使用了 use_flash_attn=True 加速注意力计算,不是必需依赖。如果不想折腾安装,加载模型时把它改成 False 即可,只是推理速度稍慢。
三、获取模型文件:两种下载方式
方式一(推荐):让 transformers 自动下载
首次运行推理代码时,from_pretrained 会自动把权重和自定义代码拉到本地缓存,什么都不用手动操作:
path = 'OpenGVLab/Mini-InternVL2-4B-DA-DriveLM'
方式二:git clone 到本地
git clone https://gitcode.com/OpenGVLab/Mini-InternVL2-4B-DA-DriveLM
仓库结构非常精简,核心就三类文件:
| 文件 | 作用 |
|---|---|
| model-00001-of-00002.safetensors、model-00002-of-00002.safetensors | 模型权重(分两片存储) |
| modeling_internvl_chat.py、modeling_intern_vit.py、modeling_phi3.py | 自定义模型代码(视觉编码器、语言模型、聊天逻辑) |
| config.json、tokenizer.json | 模型配置与分词器 |
四、完整推理代码教程:从预处理到多图对话
步骤 1:图像预处理——动态切片让细节不丢失
自动驾驶画面信息量大(远处的小车、地面标线都很关键),InternVL 用"动态切片"策略:按图片宽高比把图切成 1~12 块 448×448 的图块,再加一张全局缩略图,兼顾全局视野与局部细节。
import torch
import torchvision.transforms as T
from PIL import Image
from torchvision.transforms.functional import InterpolationMode
IMAGENET_MEAN = (0.485, 0.456, 0.406)
IMAGENET_STD = (0.229, 0.224, 0.225)
def build_transform(input_size):
return T.Compose([
T.Lambda(lambda img: img.convert('RGB') if img.mode != 'RGB' else img),
T.Resize((input_size, input_size), interpolation=InterpolationMode.BICUBIC),
T.ToTensor(),
T.Normalize(mean=IMAGENET_MEAN, std=IMAGENET_STD),
])
def load_image(image_file, input_size=448, max_num=12):
"""完整实现见 README Quick Start 部分,核心是 dynamic_preprocess 动态切片"""
image = Image.open(image_file).convert('RGB')
transform = build_transform(input_size=input_size)
images = dynamic_preprocess(image, image_size=input_size,
use_thumbnail=True, max_num=max_num)
return torch.stack([transform(img) for img in images])
完整的
find_closest_aspect_ratio和dynamic_preprocess实现直接复制自 README.md 的 Quick Start 一节,建议整段照搬,不要自己改写。
步骤 2:加载模型与分词器
from transformers import AutoModel, AutoTokenizer
path = 'OpenGVLab/Mini-InternVL2-4B-DA-DriveLM'
model = AutoModel.from_pretrained(
path,
torch_dtype=torch.bfloat16, # bf16 精度,显存减半
low_cpu_mem_usage=True, # 降低 CPU 内存峰值
use_flash_attn=False, # 未装 flash-attn 就设为 False
trust_remote_code=True # 必须开启,加载自定义 modeling 代码
).eval().cuda()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)
generation_config = dict(max_new_tokens=1024, do_sample=True)
多卡部署只需一行改动:.cuda() 换成 device_map="auto",模型会自动切分到多张 GPU。
步骤 3:发起对话——单图、多图、多轮全覆盖
对话入口是 modeling_internvl_chat.py#L253-L255 中的 chat 方法。核心用法只有 4 种,全部示例如下:
# ① 纯文本对话(无需图片,pixel_values 传 None)
question = 'Hello, who are you?'
response, history = model.chat(tokenizer, None, question,
generation_config, history=None, return_history=True)
print(f'User: {question}\nAssistant: {response}')
# ② 单图单轮:提示词中写 <image> 占位符
pixel_values = load_image('driving_scene.jpg', max_num=12).to(torch.bfloat16).cuda()
question = '<image>\n请用一句话描述这张行车画面。'
response = model.chat(tokenizer, pixel_values, question, generation_config)
print(f'Assistant: {response}')
# ③ 单图多轮:第二问只需传 history,图片不用重复加载
question = '画面中有哪些潜在的交通风险?'
response, history = model.chat(tokenizer, pixel_values, question,
generation_config, history=history, return_history=True)
# ④ 多图对话:把两张图的切片拼接成同一个 tensor
pv1 = load_image('frame_1.jpg', max_num=12).to(torch.bfloat16).cuda()
pv2 = load_image('frame_2.jpg', max_num=12).to(torch.bfloat16).cuda()
pixel_values = torch.cat((pv1, pv2), dim=0)
num_patches_list = [pv1.size(0), pv2.size(0)]
question = 'Image-1: <image>\nImage-2: <image>\n对比两帧画面,车辆的位置发生了什么变化?'
response, history = model.chat(tokenizer, pixel_values, question,
generation_config,
num_patches_list=num_patches_list,
history=None, return_history=True)
批量处理用 batch_chat 方法(见 modeling_internvl_chat.py#L204),适合离线跑整段行车视频抽帧的场景。
五、典型输出示例:自动驾驶场景问答
给模型一张十字路口行车画面,问"请描述当前驾驶场景",典型回复大致如下:
User:
<image>请描述当前驾驶场景并提示风险。 Assistant: 画面显示一辆车正驶向城市十字路口,前方红灯亮起,两辆轿车停在停止线前。右侧有一名行人正在过街,注意礼让。路面标线清晰,视线良好,无异常障碍物。
可以看到它已经具备"场景描述 + 风险识别 + 驾驶建议"的完整链路,这正是 DriveLM 领域适配的价值所在。
六、常见问题与调优技巧(FAQ)
❓ 报错 You should use trust_remote_code 或加载失败?
两个原因:① 忘了传 trust_remote_code=True;② transformers 版本低于 4.37.2。升级后重试。
❓ 显存不够(OOM)怎么办? 按优先级尝试:
- 降低切片数:
load_image(..., max_num=4),显存占用近乎线性下降 - 换用同系列 1B/2B 模型,改一下
path即可 - 多卡:加载时改用
device_map="auto"
❓ 回答质量不稳定?
尝试关闭采样:generation_config = dict(max_new_tokens=1024, do_sample=False),贪心解码更稳定。
❓ 中文支持如何?
模型 language: multilingual,训练数据包含中文指令集(LLaVA-Instruct-ZH),直接用中文提问即可。
七、项目关键文件导航
后续想深入定制,从这几个文件入手:
- 对话模板:conversation.py(当前使用
phi3-chat模板) - 视觉编码器实现:modeling_intern_vit.py
- 语言模型实现:modeling_phi3.py
- 聊天与生成主逻辑:modeling_internvl_chat.py(
chat/batch_chat/generate三个核心方法) - 自定义 token(
<img>、<IMG_CONTEXT>等图像占位符):added_tokens.json - 官方完整示例与引用信息:README.md
结语
到这里,你的自动驾驶 VLM 已经跑通了。回顾一下 10 分钟路线:装依赖(1 分钟)→ 获取模型(2 分钟)→ 预处理 + 加载(3 分钟)→ 发起第一次对话(4 分钟)。Mini-InternVL2-4B-DA-DriveLM 以小参数量实现了领域级驾驶理解能力,接下来你可以尝试喂入自己的行车记录仪视频抽帧,把它变成你专属的"驾驶安全员"。🚀