Mini-InternVL2-1B-DA-BDD快速上手教程:10分钟完成安装并跑通第一个自动驾驶图像推理

原创2026-10-16 14:45:592,311 阅读

Mini-InternVL2-1B-DA-BDD快速上手教程:10分钟完成安装并跑通第一个自动驾驶图像推理

Mini-InternVL2-1B-DA-BDD 是一个面向自动驾驶场景的多模态大模型,基于 InternVL2-1B 底座并在 BDD 驾驶数据集上做了领域适配(Domain Adaptation)。本文是一份面向新手的完整教程:从环境安装到跑通第一个自动驾驶图像推理,最快 10 分钟即可完成。

一、它是什么:1B 参数的"车载视觉助手"

Mini-InternVL 系列主打"用约 5% 的参数换来 90% 的性能",而 DA-BDD 是其中专为自动驾驶领域微调的版本,可以:

  • 📷 看懂路面的车、人、自行车等交通目标
  • 🌦️ 识别道路场景中的天气、光照条件
  • 🗣️ 用自然语言回答关于驾驶图像的问题(图像问答)
  • 💬 支持单图多轮对话、多图对比推理

从模型配置文件 config.json 可以看到它的结构:

组件 说明
视觉编码器 InternViT(24 层,patch 尺寸 14,图像尺寸 448)
语言模型 Qwen2-0.5B-Instruct(24 层,隐藏维度 896)
动态切片 dynamic_image_size: true,最多 max_dynamic_patch: 12 个切片
对话模板 Hermes-2(见 conversation.py)
精度 bfloat16
许可证 MIT

由于整个模型仅约 1B 参数,一张消费级显卡(8GB 显存)就能流畅推理,非常适合个人开发者和小团队本地部署。

二、准备工作:安装前的环境检查清单

开始之前,先确认你的电脑满足以下条件:

✅ Python ≥ 3.9(推荐 3.10) ✅ GPU:NVIDIA 显卡,显存 ≥ 8GB(1B 模型 + bfloat16 推理绰绰有余) ✅ CUDA:推荐 11.8 及以上 ✅ 网络:首次运行会自动从模型库下载权重(约 2GB 左右)

三、一键安装步骤:3 条命令搞定依赖

Mini-InternVL2-1B-DA-BDD 官方推荐直接使用 HuggingFace 的 transformers 库加载模型(注意:模型代码依赖 trust_remote_code,且要求 transformers ≥ 4.37.2),这是最省事的安装方式:

# 1. 安装或升级 transformers(关键版本要求:>=4.37.2)
pip install "transformers>=4.37.2"

# 2. 安装图像处理与推理依赖
pip install pillow torchvision decord

# 3. (可选)安装 flash-attention 以获得更快的推理速度
pip install flash-attn --no-build-isolation

💡 如果你更习惯把模型文件下载到本地再加载,也可以克隆模型仓库:

git clone https://gitcode.com/OpenGVLab/Mini-InternVL2-1B-DA-BDD

下载完成后,仓库内包含完整的模型权重与配套代码:

文件 作用
model.safetensors 模型权重(核心文件)
modeling_internvl_chat.py 多模态主模型:对话、批量推理、视觉特征提取
modeling_intern_vit.py InternViT 视觉编码器实现
configuration_internvl_chat.py 模型配置类定义
conversation.py 对话模板(Hermes-2 等)
tokenizer.json / vocab.json 分词器与词表
config.json 模型架构与训练超参数

四、跑通第一个自动驾驶图像推理:完整代码解析

新建一个 Python 文件(如 demo.py),把下面的核心代码复制进去。我们分四步走:加载模型 → 预处理图片 → 发起对话 → 查看结果。

import torch
import torchvision.transforms as T
from PIL import Image
from torchvision.transforms.functional import InterpolationMode
from transformers import AutoModel, AutoTokenizer

IMAGENET_MEAN = (0.485, 0.456, 0.406)
IMAGENET_STD = (0.229, 0.224, 0.225)

# ---------- 第 1 步:图像预处理(动态切片) ----------
def build_transform(input_size):
    return T.Compose([
        T.Lambda(lambda img: img.convert('RGB') if img.mode != 'RGB' else img),
        T.Resize((input_size, input_size), interpolation=InterpolationMode.BICUBIC),
        T.ToTensor(),
        T.Normalize(mean=IMAGENET_MEAN, std=IMAGENET_STD),
    ])

def load_image(image_file, input_size=448, max_num=12):
    # 这里直接复用模型仓库中 dynamic_preprocess 的动态切片逻辑
    from demo_utils import dynamic_preprocess  # 从 README 示例中拷贝
    image = Image.open(image_file).convert('RGB')
    transform = build_transform(input_size)
    images = dynamic_preprocess(image, image_size=input_size,
                                use_thumbnail=True, max_num=max_num)
    return torch.stack([transform(im) for im in images])

# ---------- 第 2 步:加载模型 ----------
path = 'OpenGVLab/Mini-InternVL2-1B-DA-BDD'  # 模型库名称,自动下载
model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    use_flash_attn=True,   # 没装 flash-attn 就改为 False
    trust_remote_code=True).eval().cuda()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)

# ---------- 第 3 步:对自动驾驶图像提问 ----------
pixel_values = load_image('road.jpg', max_num=12).to(torch.bfloat16).cuda()
question = '<image>\n图中有哪些车辆和行人?请描述当前的道路状况。'
generation_config = dict(max_new_tokens=1024, do_sample=True)

# ---------- 第 4 步:查看推理结果 ----------
response = model.chat(tokenizer, pixel_values, question, generation_config)
print(f'用户: {question}\n模型: {response}')

运行:

python demo.py

首次运行会自动下载权重并缓存,之后再次运行就是秒级启动。🎉 看到模型对路景图像的中文/英文描述,就说明你的自动驾驶图像推理链路已经完全跑通!

进阶玩法:多轮追问

模型原生支持多轮对话,只需保存并传回 history:

question = '<image>\n请简要描述这张图像。'
response, history = model.chat(tokenizer, pixel_values, question,
                               generation_config, history=None, return_history=True)
print(response)

# 第二轮追问,无需再传图片
question = '如果前方有行人横穿,应该如何应对?'
response, history = model.chat(tokenizer, pixel_values, question,
                               generation_config, history=history, return_history=True)
print(response)

更多用法(多图对比、批量推理 batch_chat 等)可以参考仓库中的 README.md。

五、常见问题排查(新手必看)

❓ 报错 FlashAttention2 has not been correctly installed? 没有安装 flash-attn 时,把加载参数改为 use_flash_attn=False 即可,推理结果不受影响,只是速度略慢。

❓ 显存不够(OOM)怎么办?

  • 将 max_num=12 调小(如 max_num=4),减少图像切片数量
  • 去掉 use_flash_attn,或改用更小的批大小
  • 1B 模型本身很轻量,通常 8GB 显存完全够用

❓ CPU 能跑吗? 可以,把 .cuda() 去掉、torch_dtype 改为 torch.float32,但速度会很慢,仅建议用于快速验证代码逻辑。

❓ transformers 版本冲突? 模型明确要求 transformers ≥ 4.37.2(见 config.json 中的版本信息与源码中的版本断言),低于此版本会直接报错,升级即可解决。

❓ 推理出的文字和驾驶场景无关? 确认加载的是 DA-BDD 领域适配版本(而非通用版 InternVL2-1B)。DA-BDD 使用 DriveGPT4 构造的驾驶数据微调,对车辆、行人、道路、天气等驾驶要素的理解显著更好。

六、写在最后:1B 模型的工程价值

维度 表现
部署成本 消费级显卡即可,无需多卡
推理延迟 单图问答通常在秒级
领域能力 针对 BDD 驾驶数据优化,适合路景理解
二次开发 MIT 协议,可自由商用与微调

Mini-InternVL2-1B-DA-BDD 证明了"小模型 + 领域适配"在自动驾驶感知理解上的高性价比路线。接下来你可以:

  1. 换一张自己的路测照片试试多轮追问
  2. 参考 modeling_internvl_chat.py 中的 chat 与 batch_chat 接口,把它嵌入自己的 Web 服务或标注工具
  3. 对比仓库家族中的 2B、4B 版本,评估精度与速度的平衡

10 分钟,一张显卡,一个懂"开车"的多模态模型——现在就动手跑起来吧! 🚗

登录后查看全文
Mini-InternVL2-1B-DA-BDD