Mini-InternVL2-1B-DA-DriveLM快速上手:10分钟跑通第一次图像问答的完整新手教程
Mini-InternVL2-1B-DA-DriveLM快速上手:10分钟跑通第一次图像问答的完整新手教程
Mini-InternVL2-1B-DA-DriveLM 是一款面向自动驾驶场景的 1B 参数多模态图像问答模型,由 OpenGVLab 基于 Mini-InternVL 统一适配框架构建。本文是一份面向零基础用户的完整新手教程,带你 10 分钟完成环境安装、模型加载,并跑通人生第一次图像问答 👇
一、认识这个模型:为什么选 Mini-InternVL2-1B-DA-DriveLM
很多新手第一次接触多模态大模型(VLM)时,都会被"几十 GB 的权重、动辄 A100 显卡"劝退。而 Mini-InternVL2 系列的卖点正在于"用 5% 的参数换取 90% 的性能",其中 1B 版本是门槛最低的一档:
| 维度 | 说明 |
|---|---|
| 📦 模型规模 | 约 1B 参数,消费级 GPU(8GB 显存左右)即可流畅推理 |
| 🚗 领域适配 | 基于 DriveLM 自动驾驶数据集微调,擅长解读行车视角图像、理解道路场景 |
| 🧠 语言底座 | Qwen2-0.5B-Instruct(多语言能力) |
| 👁️ 视觉编码器 | InternVision(支持 448 分辨率动态切块,最多 12 块) |
| 💬 对话模板 | Hermes-2,详见 conversation.py |
简单说:它就是一个"看得懂路、答得出来"的自动驾驶小专家,既能做通用图文对话,也对驾驶场景图像有更强的理解力。
二、环境准备:最快安装方法
1. 确认硬件与系统要求
- 一块 NVIDIA GPU(建议显存 ≥ 8GB,1B 模型 + 少量图像切块时 6GB 也可尝试)
- Python 3.9+
- 官方要求
transformers>=4.37.2,低于此版本模型无法正常工作 ⚠️
2. 安装 Python 依赖
打开终端,依次执行:
pip install torch torchvision
pip install "transformers>=4.37.2"
pip install pillow
💡 提示:如果网络环境访问 Hugging Face 较慢,可以使用国内镜像源安装。
三、获取模型文件
方法一:克隆仓库(推荐,本地路径最省事)
git clone https://gitcode.com/OpenGVLab/Mini-InternVL2-1B-DA-DriveLM
克隆完成后,目录中的核心文件如下,后文会逐一用到:
| 文件 | 作用 |
|---|---|
| model.safetensors | 模型权重文件(核心) |
| config.json | 模型总配置(含对话模板、图像切块策略) |
| modeling_internvl_chat.py | 多模态对话模型主体,chat / batch_chat 推理入口 |
| modeling_intern_vit.py | InternVision 视觉编码器实现 |
| conversation.py | 对话模板(Hermes-2)定义 |
| README.md | 官方说明与完整示例代码 |
方法二:使用 Transformers 自动下载
也可以不克隆仓库,直接用模型名从模型仓库下载(代码中的 path 参数见下一节)。
四、10分钟跑通:第一次图像问答
第 1 步:加载模型与分词器
import torch
from transformers import AutoModel, AutoTokenizer
path = 'OpenGVLab/Mini-InternVL2-1B-DA-DriveLM' # 或填写本地克隆目录
model = AutoModel.from_pretrained(
path,
torch_dtype=torch.bfloat16, # 半精度,省显存
low_cpu_mem_usage=True,
trust_remote_code=True # 模型携带自定义推理代码,必须开启
).eval().cuda()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)
⏱ 首次加载需要下载权重或从本地读取 model.safetensors,看到进度条走完即成功。模型结构定义在 modeling_internvl_chat.py 中,配置则来自 config.json。
第 2 步:图像预处理——动态切块是关键
Mini-InternVL 的"看家本领"是动态分辨率:会根据图片长宽比自动切成 1~12 个 448×448 的小块再拼一个缩略图,细节保留比固定分辨率方案更好(实现见 modeling_internvl_chat.py 与 config.json 中的 max_dynamic_patch: 12)。
官方提供了现成的 load_image 辅助函数(完整版见 README.md 的 Quick Start 一节),核心逻辑是:
pixel_values = load_image('你的图片路径.jpg', max_num=12).to(torch.bfloat16).cuda()
新手只需记住一句话:把图片交给 load_image,把结果交给模型即可。
第 3 步:发起第一次图像问答 🎉
generation_config = dict(max_new_tokens=1024, do_sample=True)
# 单图单轮对话:问题前加 <image> 标记
question = '<image>\n请描述一下图片中的道路场景,前方有什么需要注意的?'
response = model.chat(tokenizer, pixel_values, question, generation_config)
print(f'User: {question}\nAssistant: {response}')
看到模型输出的道路描述,恭喜,你已经跑通了 Mini-InternVL2-1B-DA-DriveLM 图像问答!🎊
chat 方法的完整签名与多轮历史管理逻辑位于 modeling_internvl_chat.py,它对 history 参数的处理让你可以无缝进行多轮追问。
五、进阶玩法:多轮对话与纯文本聊天
单图多轮对话:追问更细节
只需传入上一轮的 history:
question1 = '<image>\n请详细描述这张图片。'
response, history = model.chat(tokenizer, pixel_values, question1,
generation_config, history=None, return_history=True)
question2 = '根据这张图片,写一句行车安全提示。'
response = model.chat(tokenizer, pixel_values, question2,
generation_config, history=history)
纯文本对话:不带图片也能聊
把 pixel_values 换成 None 即可:
question = '你好,你是谁?'
response = model.chat(tokenizer, None, question, generation_config)
多图问答与批量推理
- 多图拼接:把多张图的
pixel_values用torch.cat拼接后一次性提问; - 多图独立:传入
num_patches_list标明每张图占多少块; - 批量推理:调用 modeling_internvl_chat.py 中的
batch_chat,一次处理多个样本,效率更高。
完整示例代码可直接参考 README.md 的 Quick Start 章节。
六、关键配置文件速查表 📋
| 配置文件 | 关键参数 | 新手须知 |
|---|---|---|
| config.json | template: Hermes-2、max_dynamic_patch: 12 |
决定对话格式与最大图像切块数 |
| generation_config.json | eos_token_id |
结束符设置,一般无需修改 |
| tokenizer_config.json | 分词器配置 | 加载时自动读取 |
| added_tokens.json | 新增特殊 token | 如 <image>、<IMG_CONTEXT> |
💡 想减少显存占用,可以调小
load_image的max_num(默认 12);想回答更长,调大max_new_tokens。
七、新手常见问题 FAQ ❓
Q1:报错 trust_remote_code 相关提示?
模型自带自定义推理代码(modeling_internvl_chat.py 等),加载时必须显式传 trust_remote_code=True。
Q2:use_flash_attn 是什么?没有显卡能跑吗?
它是加速注意力计算的开关,仅在 NVIDIA GPU 上生效;没有 GPU 时请去掉该参数并将模型放到 CPU(速度会明显变慢,仅建议小规模验证)。
Q3:版本报 ImportError / 行为异常?
官方明确标注需 transformers>=4.37.2,请先升级再排查其他问题。
Q4:显存不够怎么办?
优先调小 max_num(如设为 4),这是最立竿见影的省显存手段;其次是保证全程使用 bfloat16。
Q5:想换成 2B / 4B 版本?
同系列提供 Mini-InternVL2-2B 与 4B 规格(详见 README.md 的模型列表),推理代码完全相同,只改 path 即可。
写在最后
到这里,你已经完成了从环境安装 → 模型加载 → 第一次图像问答 → 多轮进阶的完整链路。Mini-InternVL2-1B-DA-DriveLM 以极小的体积提供了实用的自动驾驶图像理解能力,非常适合作为你入门多模态大模型的第一站 🚀。下一步,不妨找一张真实的行车记录仪截图试试它的表现!
延伸阅读:完整官方示例与训练数据集说明见 README.md;模型配置解析可参考 configuration_intern_vit.py 与 configuration_internvl_chat.py。