文章结构规划完成,开始输出

原创2026-10-19 19:03:542,275 阅读

文章结构规划完成,开始输出

根据对源码的分析(modeling_internvl_chat.py 中 chat()/batch_chat()/generate() 的完整实现、conversation.py 的对话模板、config.json 的模型配置),项目内无本地图片文件,README 中的图片均为网络图片(按规范不可用),因此本文不含图片,用清晰的结构排版和文件路径链接替代。

Mini-InternVL2-2B-DA-BDD源码剖析:chat()与batch_chat()背后的推理全流程

Mini-InternVL2-2B-DA-BDD 是 OpenGVLab 开源的面向自动驾驶领域的多模态大模型(基于 InternVL2-2B 基座,使用 BDD100K 相关数据做领域自适应微调)。本文带你从源码层面拆解它的推理引擎:当你调用 chat() 单轮问答或 batch_chat() 批量推理时,一条图片+文本的请求是如何经过视觉编码、像素重排、投影对齐,最终变成语言模型生成的答案的。

一、先认识这个模型:ViT + 投影器 + LLM 三件套

理解推理流程之前,先搞清楚这个多模态模型由谁组成。它的架构信息全部写在 config.json 中:

组成部分 源码位置 职责
视觉编码器 InternViT modeling_intern_vit.py 把图片切成 14×14 的 patch,提取视觉特征(24 层,hidden_size=1024)
投影器 mlp1 + pixel_shuffle modeling_internvl_chat.py 把视觉特征下采样并对齐到语言模型的隐层维度
语言模型 InternLM2-1.8B modeling_internlm2.py 真正"生成回答"的因果语言模型(24 层,hidden_size=2048)
对话模板 conversation.py 负责把多轮对话拼成模型认识的 prompt 格式
分词器 tokenization_internlm2.py 文本与特殊 token 的互转

💡 核心机制一句话:图片不是"直接喂"给语言模型的,而是先被 ViT 变成一串向量,再替换掉 prompt 里的 <IMG_CONTEXT> 占位 token 的 embedding。这是整个推理流程的灵魂。

二、全流程总览:一次 chat() 的 6 个阶段

chat() 的完整实现在 modeling_internvl_chat.py。它的调用链可以概括为:

question + 图片
   ↓ ① 补 <image> 标记、校验 patch 数量
   ↓ ② get_conv_template 拼装对话 prompt(含历史轮次)
   ↓ ③ <image> → <img> + <IMG_CONTEXT>×256×N + </img>
   ↓ ④ tokenizer 编码为 input_ids
   ↓ ⑤ generate():ViT 提特征 → pixel_shuffle → mlp1 → 替换 embedding
   ↓ ⑥ LLM 自回归生成 → 解码并截断到结束符
response(+ history 更新)

下面逐个阶段看源码里的关键细节。

阶段 1-2:对话模板拼装 prompt

chat() 会检查问题里有没有 <image> 标记,没有就自动补上(modeling_internvl_chat.py):

if history is None and pixel_values is not None and '<image>' not in question:
    question = '<image>\n' + question

然后通过 get_conv_template(self.template) 拿到对话模板。本模型的模板名是 internlm2-chat(见 config.json 中的 "template" 字段),定义在 conversation.py 中,采用 ChatML 风格的 user / assistant 标签,系统提示词是:

你是由上海人工智能实验室联合商汤科技开发的书生多模态大模型,英文名叫 InternVL, 是一个有用无害的人工智能助手。

chat() 会把 history 里的历史轮次逐条 append_message 进去——这就是 chat() 支持多轮对话的原因:每轮问答都追加到同一个 prompt 中,让模型"看得见"之前的上下文。

阶段 3:图片占位 token 的展开

这是最容易让人困惑的一步。源码中(modeling_internvl_chat.py):

image_tokens = IMG_START_TOKEN + IMG_CONTEXT_TOKEN * self.num_image_token * num_patches + IMG_END_TOKEN
query = query.replace('<image>', image_tokens, 1)

其中 num_image_token 在 __init__ 中计算(modeling_internvl_chat.py):

num_image_token = (448 / 14)² × (0.5)² = 1024 × 0.25 = 256

含义是:每切 1 块 448×448 的图像 patch,就占用 256 个 token 位置。模型支持动态切图(max_dynamic_patch: 12),一张横长的图可能被切成多块 patch,token 数相应乘以 num_patches。

📌 这就是为什么推理时显存随图片分辨率变化——图片越多、切块越多,prompt 就越长。

阶段 4-5:generate()——视觉特征替换 embedding

进入 generate() 后,流程分为两半:

① 视觉侧:extract_feature() 提取图片特征(modeling_internvl_chat.py),内部三步走:

  1. 调用 InternVisionModel 前向,得到全部 patch 的隐状态(select_layer: -1 表示取最后一层)
  2. 丢掉 CLS token 后,用 pixel_shuffle(scale_factor=0.5) 把相邻 2×2 的 patch 特征拼接,空间分辨率减半、通道数翻倍
  3. 过 mlp1(LayerNorm + Linear + GELU + Linear)投影到 LLM 的 2048 维空间

② 文本侧:把 input_ids 对应的词嵌入查出来后,找到所有等于 <IMG_CONTEXT> token id 的位置,直接原地替换成视觉特征:

selected = (input_ids == self.img_context_token_id)
input_embeds[selected] = vit_embeds.reshape(-1, C).to(input_embeds.device)

至此,图片信息已经"注入"进了文本序列。之后 self.language_model.generate(...) 带着 use_cache=True 的 KV cache 逐 token 自回归生成,直到遇到结束符。

阶段 6:解码与截断

生成结果经过 tokenizer.batch_decode(..., skip_special_tokens=True) 解码后,再按模板的结束分隔符 `

登录后查看全文
Mini-InternVL2-2B-DA-BDD