InternVL2_5-26B-MPO源码解读:InternVLChatModel如何编排视觉、MLP投影与LLM三大组件
InternVL2_5-26B-MPO源码解读:InternVLChatModel如何编排视觉、MLP投影与LLM三大组件
InternVL2_5-26B-MPO 是上海人工智能实验室开源的多模态大语言模型(MLLM),其核心类 InternVLChatModel 在一个文件里把**视觉编码器(ViT)、MLP 投影层、大语言模型(LLM)**三大组件拼装成完整的"看图说话"系统。本文带你用最短路径读懂这套 ViT-MLP-LLM 架构的编排逻辑,搞懂图片从像素到文字背后的完整数据流。
一、三大组件总览:谁负责什么?
打开权重索引文件 model.safetensors.index.json,所有参数正好分成三组前缀,与代码结构一一对应:
| 组件 | 权重前缀 | 参数量级 | 职责 | 源码位置 |
|---|---|---|---|---|
| 视觉编码器 | vision_model |
~6B(589 个权重键) | 把图片切块、编码成视觉特征 | modeling_intern_vit.py |
| MLP 投影层 | mlp1 |
很小(6 个权重键) | 把视觉特征"翻译"成 LLM 能理解的向量 | modeling_internvl_chat.py |
| 大语言模型 | language_model |
~20B(339 个权重键) | 理解指令、生成文字回复 | modeling_internlm2.py |
模型入口由 config.json 中的 auto_map 注册——AutoModel 加载时会自动指向 InternVLChatModel,这就是"一个 from_pretrained 同时拉起三个组件"的底层机制。
二、组件初始化:init 里一次组装三大件 🧩
InternVLChatModel 继承自 transformers 的 PreTrainedModel(见 modeling_internvl_chat.py),构造函数依次完成三件事:
1. 构建视觉模型(L62-L65)
self.vision_model = InternVisionModel(config.vision_config)
默认使用 InternViT-6B:448px 输入、14px patch、45 层编码器、hidden_size=3200(详见 config.json 的 vision_config)。
2. 按配置选择 LLM(L66-L74)
if config.llm_config.architectures[0] == 'LlamaForCausalLM':
self.language_model = LlamaForCausalLM(config.llm_config)
elif config.llm_config.architectures[0] == 'InternLM2ForCausalLM':
self.language_model = InternLM2ForCausalLM(config.llm_config)
本仓库的 26B-MPO 使用 InternLM2ForCausalLM(基于 internlm2_5-20b-chat,48 层、hidden_size=6144)。注意这里留了 Llama 分支——同一套编排代码可以换任意兼容 LLM,这是 InternVL 家族覆盖 1B~78B 全尺寸的关键设计。
3. 构建 MLP 投影层(L79-L84)
self.mlp1 = nn.Sequential(
nn.LayerNorm(vit_hidden_size * int(1 / self.downsample_ratio) ** 2),
nn.Linear(vit_hidden_size * int(1 / self.downsample_ratio) ** 2, llm_hidden_size),
nn.GELU(),
nn.Linear(llm_hidden_size, llm_hidden_size)
)
输入维度 = 3200 × 4 = 12800,输出 = 6144。为什么是"×4"?因为 downsample_ratio=0.5 的 pixel shuffle 会把空间维度各压缩一半,4 个相邻 token 合并成 1 个(细节见下一节)。
三、视觉编码器:InternViT 如何"看"图 👁️
InternVisionModel(modeling_intern_vit.py)是标准的 ViT 结构:
- 动态分辨率:图片不是被粗暴缩成 448×448,而是切成若干个 448×448 的 tile(本仓库
max_dynamic_patch=12,即最多 12 块),并额外附加一张缩略图(use_thumbnail: true)帮助模型把握全局; - patch 编码:每张 448×448 的 tile 按 14px 切 patch,得到 32×32 = 1024 个 patch token,送入 45 层 Transformer 编码;
select_layer开关:推理时取最后一层输出(select_layer=-1),训练时可指定取中间某层的特征(hidden_states[select_layer])。
四、MLP 投影:pixel shuffle + 双层网络,token 减到 1/4 ⚡
视觉特征进入 LLM 前,extract_feature(modeling_internvl_chat.py)做两步加工:
第 1 步:pixel_shuffle 降采样(L169-L183)
把 32×32 的空间网格中 2×2 的相邻 token 合并,序列从 1024 个减到 256 个(downsample_ratio=0.5,448×448 每张图只需 256 个 token),同时每个 token 的通道数从 3200 变为 12800。这是 InternVL 控制长上下文成本的核心技巧——序列变短,注意力开销骤降。
第 2 步:mlp1 投影
12800 维的视觉向量经 LayerNorm → Linear → GELU → Linear 映射到 6144 维,正好对齐 LLM 的 hidden_size。这个 MLP 在预训练后是随机初始化的,靠多模态训练把"视觉语义"和"语言语义"对齐——它是连接左右两个世界的"翻译官"。
五、LLM 组件:InternLM2 接管生成 📝
InternLM2ForCausalLM 是一个标准解码器模型:GQA 注意力(48 头 / 8 个 KV 头)、RoPE 位置编码(dynamic 缩放,支持 32768 上下文)。它并不知道"图片"的存在——对它而言,视觉信息就是一串嵌入向量,和文字 token 完全同构。这正是整个架构优雅之处:LLM 无需任何改造,图片只是"一种特殊的词"。
六、推理数据流:一次 chat 调用背后的完整旅程 🔁
以 README 中"描述图片"为例,model.chat(tokenizer, pixel_values, '<image>\n请描述图片', ...) 内部经历四步:
① 模板拼接(chat 方法 L254-L278)
对话模板 internvl2_5(定义于 conversation.py)负责给问题套上 system / user 等格式。
② 图像 token 占位(L284-L286)
<image> 被替换为 <img> + 256 × n 个 <IMG_CONTEXT> + </img>,n 为图片切块数。256 就是前面算出的 num_image_token(L53)。
③ 特征替换(generate 方法 L310-L339)
generate 是三大组件的"汇合点":先 extract_feature(pixel_values) 取出视觉特征,再把 input_ids 中所有 <IMG_CONTEXT> 位置对应的嵌入原地替换为视觉向量——
selected = (input_ids == self.img_context_token_id)
input_embeds[selected] = vit_embeds.reshape(-1, C)
④ 交给 LLM 自回归生成
language_model.generate(inputs_embeds=...) 接收混合了文字与图像嵌入的序列,逐 token 输出回答。
💡 纯文本对话时
pixel_values=None,流程跳过 ②③,退化为普通 LLM 对话——同一入口同时支持文本、单图、多图和视频(每帧<image>各占 256 token)。
七、关键配置参数速查表 📋
以下参数都定义在 config.json 中,由 configuration_internvl_chat.py 的 InternVLChatConfig 解析:
| 参数 | 本仓库取值 | 作用 |
|---|---|---|
downsample_ratio |
0.5 | pixel shuffle 压缩比,token 数变为 1/4 |
force_image_size |
448 | 每个 tile 的边长(px) |
max_dynamic_patch / min_dynamic_patch |
12 / 1 | 动态分辨率切块数量范围 |
use_thumbnail |
true | 额外附加缩略图辅助全局理解 |
ps_version |
v2 | pixel shuffle 版本(v2 修复了 v1 的转置问题,见 L178-L182) |
select_layer |
-1 | 取 ViT 哪一层特征(-1 为最后一层) |
template |
internvl2_5 | 对话提示模板名 |
八、总结:三个记住就够的要点
- 一个入口类:
InternVLChatModel在 modeling_internvl_chat.py 中完成"ViT + MLP + LLM"的组装,auto_map让 transformers 无缝加载; - 一个翻译官:
mlp1配合 pixel shuffle 把 1024 个视觉 token 压缩、投影成 256 个 6144 维向量,让"图片"变成"一串词"; - 一条数据流:
chat拼模板 → 占位<IMG_CONTEXT>→extract_feature替换嵌入 → LLM 生成,理解这条链路就掌握了 InternVL 全系列模型的核心机制。
想动手实践?获取源码后可直接参考 README.md 的 Quick Start 部分运行 ./examples/image1.jpg 上的图片问答。
