文章结构规划完成,开始输出
文章结构规划完成,开始输出
根据对源码的分析(modeling_internvl_chat.py 中 chat()/batch_chat()/generate() 的完整实现、conversation.py 的对话模板、config.json 的模型配置),项目内无本地图片文件,README 中的图片均为网络图片(按规范不可用),因此本文不含图片,用清晰的结构排版和文件路径链接替代。
Mini-InternVL2-2B-DA-BDD源码剖析:chat()与batch_chat()背后的推理全流程
Mini-InternVL2-2B-DA-BDD 是 OpenGVLab 开源的面向自动驾驶领域的多模态大模型(基于 InternVL2-2B 基座,使用 BDD100K 相关数据做领域自适应微调)。本文带你从源码层面拆解它的推理引擎:当你调用 chat() 单轮问答或 batch_chat() 批量推理时,一条图片+文本的请求是如何经过视觉编码、像素重排、投影对齐,最终变成语言模型生成的答案的。
一、先认识这个模型:ViT + 投影器 + LLM 三件套
理解推理流程之前,先搞清楚这个多模态模型由谁组成。它的架构信息全部写在 config.json 中:
| 组成部分 | 源码位置 | 职责 |
|---|---|---|
| 视觉编码器 InternViT | modeling_intern_vit.py | 把图片切成 14×14 的 patch,提取视觉特征(24 层,hidden_size=1024) |
| 投影器 mlp1 + pixel_shuffle | modeling_internvl_chat.py | 把视觉特征下采样并对齐到语言模型的隐层维度 |
| 语言模型 InternLM2-1.8B | modeling_internlm2.py | 真正"生成回答"的因果语言模型(24 层,hidden_size=2048) |
| 对话模板 | conversation.py | 负责把多轮对话拼成模型认识的 prompt 格式 |
| 分词器 | tokenization_internlm2.py | 文本与特殊 token 的互转 |
💡 核心机制一句话:图片不是"直接喂"给语言模型的,而是先被 ViT 变成一串向量,再替换掉 prompt 里的
<IMG_CONTEXT>占位 token 的 embedding。这是整个推理流程的灵魂。
二、全流程总览:一次 chat() 的 6 个阶段
chat() 的完整实现在 modeling_internvl_chat.py。它的调用链可以概括为:
question + 图片
↓ ① 补 <image> 标记、校验 patch 数量
↓ ② get_conv_template 拼装对话 prompt(含历史轮次)
↓ ③ <image> → <img> + <IMG_CONTEXT>×256×N + </img>
↓ ④ tokenizer 编码为 input_ids
↓ ⑤ generate():ViT 提特征 → pixel_shuffle → mlp1 → 替换 embedding
↓ ⑥ LLM 自回归生成 → 解码并截断到结束符
response(+ history 更新)
下面逐个阶段看源码里的关键细节。
阶段 1-2:对话模板拼装 prompt
chat() 会检查问题里有没有 <image> 标记,没有就自动补上(modeling_internvl_chat.py):
if history is None and pixel_values is not None and '<image>' not in question:
question = '<image>\n' + question
然后通过 get_conv_template(self.template) 拿到对话模板。本模型的模板名是 internlm2-chat(见 config.json 中的 "template" 字段),定义在 conversation.py 中,采用 ChatML 风格的 user / assistant 标签,系统提示词是:
你是由上海人工智能实验室联合商汤科技开发的书生多模态大模型,英文名叫 InternVL, 是一个有用无害的人工智能助手。
chat() 会把 history 里的历史轮次逐条 append_message 进去——这就是 chat() 支持多轮对话的原因:每轮问答都追加到同一个 prompt 中,让模型"看得见"之前的上下文。
阶段 3:图片占位 token 的展开
这是最容易让人困惑的一步。源码中(modeling_internvl_chat.py):
image_tokens = IMG_START_TOKEN + IMG_CONTEXT_TOKEN * self.num_image_token * num_patches + IMG_END_TOKEN
query = query.replace('<image>', image_tokens, 1)
其中 num_image_token 在 __init__ 中计算(modeling_internvl_chat.py):
num_image_token = (448 / 14)² × (0.5)² = 1024 × 0.25 = 256
含义是:每切 1 块 448×448 的图像 patch,就占用 256 个 token 位置。模型支持动态切图(max_dynamic_patch: 12),一张横长的图可能被切成多块 patch,token 数相应乘以 num_patches。
📌 这就是为什么推理时显存随图片分辨率变化——图片越多、切块越多,prompt 就越长。
阶段 4-5:generate()——视觉特征替换 embedding
进入 generate() 后,流程分为两半:
① 视觉侧:extract_feature() 提取图片特征(modeling_internvl_chat.py),内部三步走:
- 调用
InternVisionModel前向,得到全部 patch 的隐状态(select_layer: -1表示取最后一层) - 丢掉 CLS token 后,用
pixel_shuffle(scale_factor=0.5)把相邻 2×2 的 patch 特征拼接,空间分辨率减半、通道数翻倍 - 过
mlp1(LayerNorm + Linear + GELU + Linear)投影到 LLM 的 2048 维空间
② 文本侧:把 input_ids 对应的词嵌入查出来后,找到所有等于 <IMG_CONTEXT> token id 的位置,直接原地替换成视觉特征:
selected = (input_ids == self.img_context_token_id)
input_embeds[selected] = vit_embeds.reshape(-1, C).to(input_embeds.device)
至此,图片信息已经"注入"进了文本序列。之后 self.language_model.generate(...) 带着 use_cache=True 的 KV cache 逐 token 自回归生成,直到遇到结束符。
阶段 6:解码与截断
生成结果经过 tokenizer.batch_decode(..., skip_special_tokens=True) 解码后,再按模板的结束分隔符 `