10分钟跑通Mini-InternVL2-4B-DA-DriveLM:自动驾驶VLM快速上手与完整代码教程

原创2026-10-18 11:06:092,343 阅读

10分钟跑通Mini-InternVL2-4B-DA-DriveLM:自动驾驶VLM快速上手与完整代码教程

Mini-InternVL2-4B-DA-DriveLM 是 OpenGVLab 开源的自动驾驶领域多模态大模型(VLM),基于 Mini-InternVL 架构,在 DriveLM 自动驾驶数据集上完成领域适配,约 4B 参数,单张消费级显卡即可部署。本文带你 10 分钟跑通从环境安装、模型获取到完整推理代码的每一步,零基础上手自动驾驶 VLM。

一、30 秒了解模型:它是什么、能干什么?

Mini-InternVL 系列主打"小参数量、大模型能力"——用约 5% 的参数达到旗舰多模态模型约 90% 的性能。而 DA-DriveLM 版本是专为自动驾驶场景微调的领域适配模型,擅长:

  • 🚗 驾驶场景理解:描述道路画面、识别车辆/行人/信号灯
  • 🧭 交通问答:回答"前方是否有行人横穿"这类安全关键问题
  • 📷 多图对比分析:拼接或独立输入多张行车画面进行对比

模型架构一览(来自 config.json)

组件 配置 说明
语言模型 Phi-3-mini-128k 32 层,hidden_size=3072,支持 128K 上下文
视觉编码器 InternViT(intern_vit_6b) 24 层,输入图像尺寸 448×448
动态切片 max_dynamic_patch=12 大图自动切成最多 12 块 + 缩略图,细节不丢失
精度 bfloat16 显存占用友好
训练数据 DriveLM + ShareGPT4V 等 覆盖 CVPR 2024 自动驾驶挑战赛场景

💡 同系列还有 1B / 2B 版本和 BDD、遥感(RS)、医疗(Medical)领域适配模型,低显存设备可换小一号,接口完全一致。

二、快速安装步骤:1 分钟准备好运行环境

环境要求不高,只需 Python 3.10+ 和 NVIDIA 显卡(建议 16GB+ 显存)。

# 创建虚拟环境(可选,推荐 conda 或 venv)
pip install torch torchvision
pip install "transformers>=4.37.2"   # ⚠️ 版本低于 4.37.2 模型无法正常工作
pip install pillow decord numpy

关于 flash-attn:README 示例中使用了 use_flash_attn=True 加速注意力计算,不是必需依赖。如果不想折腾安装,加载模型时把它改成 False 即可,只是推理速度稍慢。

三、获取模型文件:两种下载方式

方式一(推荐):让 transformers 自动下载

首次运行推理代码时,from_pretrained 会自动把权重和自定义代码拉到本地缓存,什么都不用手动操作:

path = 'OpenGVLab/Mini-InternVL2-4B-DA-DriveLM'

方式二:git clone 到本地

git clone https://gitcode.com/OpenGVLab/Mini-InternVL2-4B-DA-DriveLM

仓库结构非常精简,核心就三类文件:

文件 作用
model-00001-of-00002.safetensors、model-00002-of-00002.safetensors 模型权重(分两片存储)
modeling_internvl_chat.py、modeling_intern_vit.py、modeling_phi3.py 自定义模型代码(视觉编码器、语言模型、聊天逻辑)
config.json、tokenizer.json 模型配置与分词器

四、完整推理代码教程:从预处理到多图对话

步骤 1:图像预处理——动态切片让细节不丢失

自动驾驶画面信息量大(远处的小车、地面标线都很关键),InternVL 用"动态切片"策略:按图片宽高比把图切成 1~12 块 448×448 的图块,再加一张全局缩略图,兼顾全局视野与局部细节。

import torch
import torchvision.transforms as T
from PIL import Image
from torchvision.transforms.functional import InterpolationMode

IMAGENET_MEAN = (0.485, 0.456, 0.406)
IMAGENET_STD = (0.229, 0.224, 0.225)

def build_transform(input_size):
    return T.Compose([
        T.Lambda(lambda img: img.convert('RGB') if img.mode != 'RGB' else img),
        T.Resize((input_size, input_size), interpolation=InterpolationMode.BICUBIC),
        T.ToTensor(),
        T.Normalize(mean=IMAGENET_MEAN, std=IMAGENET_STD),
    ])

def load_image(image_file, input_size=448, max_num=12):
    """完整实现见 README Quick Start 部分,核心是 dynamic_preprocess 动态切片"""
    image = Image.open(image_file).convert('RGB')
    transform = build_transform(input_size=input_size)
    images = dynamic_preprocess(image, image_size=input_size,
                                use_thumbnail=True, max_num=max_num)
    return torch.stack([transform(img) for img in images])

完整的 find_closest_aspect_ratio 和 dynamic_preprocess 实现直接复制自 README.md 的 Quick Start 一节,建议整段照搬,不要自己改写。

步骤 2:加载模型与分词器

from transformers import AutoModel, AutoTokenizer

path = 'OpenGVLab/Mini-InternVL2-4B-DA-DriveLM'

model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,   # bf16 精度,显存减半
    low_cpu_mem_usage=True,       # 降低 CPU 内存峰值
    use_flash_attn=False,         # 未装 flash-attn 就设为 False
    trust_remote_code=True        # 必须开启,加载自定义 modeling 代码
).eval().cuda()

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)

generation_config = dict(max_new_tokens=1024, do_sample=True)

多卡部署只需一行改动:.cuda() 换成 device_map="auto",模型会自动切分到多张 GPU。

步骤 3:发起对话——单图、多图、多轮全覆盖

对话入口是 modeling_internvl_chat.py#L253-L255 中的 chat 方法。核心用法只有 4 种,全部示例如下:

# ① 纯文本对话(无需图片,pixel_values 传 None)
question = 'Hello, who are you?'
response, history = model.chat(tokenizer, None, question,
                               generation_config, history=None, return_history=True)
print(f'User: {question}\nAssistant: {response}')

# ② 单图单轮:提示词中写 <image> 占位符
pixel_values = load_image('driving_scene.jpg', max_num=12).to(torch.bfloat16).cuda()
question = '<image>\n请用一句话描述这张行车画面。'
response = model.chat(tokenizer, pixel_values, question, generation_config)
print(f'Assistant: {response}')

# ③ 单图多轮:第二问只需传 history,图片不用重复加载
question = '画面中有哪些潜在的交通风险?'
response, history = model.chat(tokenizer, pixel_values, question,
                               generation_config, history=history, return_history=True)

# ④ 多图对话:把两张图的切片拼接成同一个 tensor
pv1 = load_image('frame_1.jpg', max_num=12).to(torch.bfloat16).cuda()
pv2 = load_image('frame_2.jpg', max_num=12).to(torch.bfloat16).cuda()
pixel_values = torch.cat((pv1, pv2), dim=0)
num_patches_list = [pv1.size(0), pv2.size(0)]

question = 'Image-1: <image>\nImage-2: <image>\n对比两帧画面,车辆的位置发生了什么变化?'
response, history = model.chat(tokenizer, pixel_values, question,
                               generation_config,
                               num_patches_list=num_patches_list,
                               history=None, return_history=True)

批量处理用 batch_chat 方法(见 modeling_internvl_chat.py#L204),适合离线跑整段行车视频抽帧的场景。

五、典型输出示例:自动驾驶场景问答

给模型一张十字路口行车画面,问"请描述当前驾驶场景",典型回复大致如下:

User: <image> 请描述当前驾驶场景并提示风险。 Assistant: 画面显示一辆车正驶向城市十字路口,前方红灯亮起,两辆轿车停在停止线前。右侧有一名行人正在过街,注意礼让。路面标线清晰,视线良好,无异常障碍物。

可以看到它已经具备"场景描述 + 风险识别 + 驾驶建议"的完整链路,这正是 DriveLM 领域适配的价值所在。

六、常见问题与调优技巧(FAQ)

❓ 报错 You should use trust_remote_code 或加载失败? 两个原因:① 忘了传 trust_remote_code=True;② transformers 版本低于 4.37.2。升级后重试。

❓ 显存不够(OOM)怎么办? 按优先级尝试:

  1. 降低切片数:load_image(..., max_num=4),显存占用近乎线性下降
  2. 换用同系列 1B/2B 模型,改一下 path 即可
  3. 多卡:加载时改用 device_map="auto"

❓ 回答质量不稳定? 尝试关闭采样:generation_config = dict(max_new_tokens=1024, do_sample=False),贪心解码更稳定。

❓ 中文支持如何? 模型 language: multilingual,训练数据包含中文指令集(LLaVA-Instruct-ZH),直接用中文提问即可。

七、项目关键文件导航

后续想深入定制,从这几个文件入手:

结语

到这里,你的自动驾驶 VLM 已经跑通了。回顾一下 10 分钟路线:装依赖(1 分钟)→ 获取模型(2 分钟)→ 预处理 + 加载(3 分钟)→ 发起第一次对话(4 分钟)。Mini-InternVL2-4B-DA-DriveLM 以小参数量实现了领域级驾驶理解能力,接下来你可以尝试喂入自己的行车记录仪视频抽帧,把它变成你专属的"驾驶安全员"。🚀

登录后查看全文
Mini-InternVL2-4B-DA-DriveLM