Mini-InternVL2-1B-DA-BDD快速上手教程:10分钟完成安装并跑通第一个自动驾驶图像推理
Mini-InternVL2-1B-DA-BDD快速上手教程:10分钟完成安装并跑通第一个自动驾驶图像推理
Mini-InternVL2-1B-DA-BDD 是一个面向自动驾驶场景的多模态大模型,基于 InternVL2-1B 底座并在 BDD 驾驶数据集上做了领域适配(Domain Adaptation)。本文是一份面向新手的完整教程:从环境安装到跑通第一个自动驾驶图像推理,最快 10 分钟即可完成。
一、它是什么:1B 参数的"车载视觉助手"
Mini-InternVL 系列主打"用约 5% 的参数换来 90% 的性能",而 DA-BDD 是其中专为自动驾驶领域微调的版本,可以:
- 📷 看懂路面的车、人、自行车等交通目标
- 🌦️ 识别道路场景中的天气、光照条件
- 🗣️ 用自然语言回答关于驾驶图像的问题(图像问答)
- 💬 支持单图多轮对话、多图对比推理
从模型配置文件 config.json 可以看到它的结构:
| 组件 | 说明 |
|---|---|
| 视觉编码器 | InternViT(24 层,patch 尺寸 14,图像尺寸 448) |
| 语言模型 | Qwen2-0.5B-Instruct(24 层,隐藏维度 896) |
| 动态切片 | dynamic_image_size: true,最多 max_dynamic_patch: 12 个切片 |
| 对话模板 | Hermes-2(见 conversation.py) |
| 精度 | bfloat16 |
| 许可证 | MIT |
由于整个模型仅约 1B 参数,一张消费级显卡(8GB 显存)就能流畅推理,非常适合个人开发者和小团队本地部署。
二、准备工作:安装前的环境检查清单
开始之前,先确认你的电脑满足以下条件:
✅ Python ≥ 3.9(推荐 3.10) ✅ GPU:NVIDIA 显卡,显存 ≥ 8GB(1B 模型 + bfloat16 推理绰绰有余) ✅ CUDA:推荐 11.8 及以上 ✅ 网络:首次运行会自动从模型库下载权重(约 2GB 左右)
三、一键安装步骤:3 条命令搞定依赖
Mini-InternVL2-1B-DA-BDD 官方推荐直接使用 HuggingFace 的 transformers 库加载模型(注意:模型代码依赖 trust_remote_code,且要求 transformers ≥ 4.37.2),这是最省事的安装方式:
# 1. 安装或升级 transformers(关键版本要求:>=4.37.2)
pip install "transformers>=4.37.2"
# 2. 安装图像处理与推理依赖
pip install pillow torchvision decord
# 3. (可选)安装 flash-attention 以获得更快的推理速度
pip install flash-attn --no-build-isolation
💡 如果你更习惯把模型文件下载到本地再加载,也可以克隆模型仓库:
git clone https://gitcode.com/OpenGVLab/Mini-InternVL2-1B-DA-BDD
下载完成后,仓库内包含完整的模型权重与配套代码:
| 文件 | 作用 |
|---|---|
| model.safetensors | 模型权重(核心文件) |
| modeling_internvl_chat.py | 多模态主模型:对话、批量推理、视觉特征提取 |
| modeling_intern_vit.py | InternViT 视觉编码器实现 |
| configuration_internvl_chat.py | 模型配置类定义 |
| conversation.py | 对话模板(Hermes-2 等) |
| tokenizer.json / vocab.json | 分词器与词表 |
| config.json | 模型架构与训练超参数 |
四、跑通第一个自动驾驶图像推理:完整代码解析
新建一个 Python 文件(如 demo.py),把下面的核心代码复制进去。我们分四步走:加载模型 → 预处理图片 → 发起对话 → 查看结果。
import torch
import torchvision.transforms as T
from PIL import Image
from torchvision.transforms.functional import InterpolationMode
from transformers import AutoModel, AutoTokenizer
IMAGENET_MEAN = (0.485, 0.456, 0.406)
IMAGENET_STD = (0.229, 0.224, 0.225)
# ---------- 第 1 步:图像预处理(动态切片) ----------
def build_transform(input_size):
return T.Compose([
T.Lambda(lambda img: img.convert('RGB') if img.mode != 'RGB' else img),
T.Resize((input_size, input_size), interpolation=InterpolationMode.BICUBIC),
T.ToTensor(),
T.Normalize(mean=IMAGENET_MEAN, std=IMAGENET_STD),
])
def load_image(image_file, input_size=448, max_num=12):
# 这里直接复用模型仓库中 dynamic_preprocess 的动态切片逻辑
from demo_utils import dynamic_preprocess # 从 README 示例中拷贝
image = Image.open(image_file).convert('RGB')
transform = build_transform(input_size)
images = dynamic_preprocess(image, image_size=input_size,
use_thumbnail=True, max_num=max_num)
return torch.stack([transform(im) for im in images])
# ---------- 第 2 步:加载模型 ----------
path = 'OpenGVLab/Mini-InternVL2-1B-DA-BDD' # 模型库名称,自动下载
model = AutoModel.from_pretrained(
path,
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
use_flash_attn=True, # 没装 flash-attn 就改为 False
trust_remote_code=True).eval().cuda()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)
# ---------- 第 3 步:对自动驾驶图像提问 ----------
pixel_values = load_image('road.jpg', max_num=12).to(torch.bfloat16).cuda()
question = '<image>\n图中有哪些车辆和行人?请描述当前的道路状况。'
generation_config = dict(max_new_tokens=1024, do_sample=True)
# ---------- 第 4 步:查看推理结果 ----------
response = model.chat(tokenizer, pixel_values, question, generation_config)
print(f'用户: {question}\n模型: {response}')
运行:
python demo.py
首次运行会自动下载权重并缓存,之后再次运行就是秒级启动。🎉 看到模型对路景图像的中文/英文描述,就说明你的自动驾驶图像推理链路已经完全跑通!
进阶玩法:多轮追问
模型原生支持多轮对话,只需保存并传回 history:
question = '<image>\n请简要描述这张图像。'
response, history = model.chat(tokenizer, pixel_values, question,
generation_config, history=None, return_history=True)
print(response)
# 第二轮追问,无需再传图片
question = '如果前方有行人横穿,应该如何应对?'
response, history = model.chat(tokenizer, pixel_values, question,
generation_config, history=history, return_history=True)
print(response)
更多用法(多图对比、批量推理 batch_chat 等)可以参考仓库中的 README.md。
五、常见问题排查(新手必看)
❓ 报错 FlashAttention2 has not been correctly installed?
没有安装 flash-attn 时,把加载参数改为 use_flash_attn=False 即可,推理结果不受影响,只是速度略慢。
❓ 显存不够(OOM)怎么办?
- 将
max_num=12调小(如max_num=4),减少图像切片数量 - 去掉
use_flash_attn,或改用更小的批大小 - 1B 模型本身很轻量,通常 8GB 显存完全够用
❓ CPU 能跑吗?
可以,把 .cuda() 去掉、torch_dtype 改为 torch.float32,但速度会很慢,仅建议用于快速验证代码逻辑。
❓ transformers 版本冲突? 模型明确要求 transformers ≥ 4.37.2(见 config.json 中的版本信息与源码中的版本断言),低于此版本会直接报错,升级即可解决。
❓ 推理出的文字和驾驶场景无关?
确认加载的是 DA-BDD 领域适配版本(而非通用版 InternVL2-1B)。DA-BDD 使用 DriveGPT4 构造的驾驶数据微调,对车辆、行人、道路、天气等驾驶要素的理解显著更好。
六、写在最后:1B 模型的工程价值
| 维度 | 表现 |
|---|---|
| 部署成本 | 消费级显卡即可,无需多卡 |
| 推理延迟 | 单图问答通常在秒级 |
| 领域能力 | 针对 BDD 驾驶数据优化,适合路景理解 |
| 二次开发 | MIT 协议,可自由商用与微调 |
Mini-InternVL2-1B-DA-BDD 证明了"小模型 + 领域适配"在自动驾驶感知理解上的高性价比路线。接下来你可以:
- 换一张自己的路测照片试试多轮追问
- 参考 modeling_internvl_chat.py 中的
chat与batch_chat接口,把它嵌入自己的 Web 服务或标注工具 - 对比仓库家族中的 2B、4B 版本,评估精度与速度的平衡
10 分钟,一张显卡,一个懂"开车"的多模态模型——现在就动手跑起来吧! 🚗