InternVL3_5-38B-MPO架构拆解:InternViT-6B视觉编码器与Qwen3-32B如何协同工作
InternVL3_5-38B-MPO架构拆解:InternViT-6B视觉编码器与Qwen3-32B如何协同工作
本文带你完整拆解开源多模态大模型 InternVL3_5-38B-MPO 的内部架构:约 5.5B 参数的 InternViT-6B 视觉编码器(Vision Encoder)负责"看图",约 32.8B 参数的 Qwen3-32B 语言模型(LLM)负责"思考与回答",中间由一个 4 层 MLP 桥接器完成特征转换与压缩。全文基于仓库内的 config.json、modeling_internvl_chat.py、modeling_intern_vit.py 等真实文件逐行核对,帮你快速建立对 ViT–MLP–LLM 三件套的完整认知。
一、38B-MPO 是什么:一个完成 MPO 后训练阶段的视觉语言模型
InternVL3_5-38B-MPO 属于 InternVL3.5 系列的 38B 档(视觉参数约 5.5B + 语言参数约 32.8B,总计约 38.4B),遵循 InternVL 系列一贯的 "ViT–MLP–LLM" 范式(见 README.md 的 Model Architecture 一节)。
它的训练流水线分为四个阶段:
| 阶段 | 全称 | 作用 |
|---|---|---|
| CPT | 多模态继续预训练 | 用大规模图文语料联合更新全部参数 |
| SFT | 监督微调 | 32K 上下文的指令跟随与思考模式数据 |
| MPO | 混合偏好优化(Mixed Preference Optimization) | 离线强化学习阶段,结合 DPO/BCO/LM 三种损失 |
| GSPO | 在线 RL 算法 | 完成完整管线后的最终对齐(本仓库不含) |
也就是说,"-MPO" 后缀表示该权重停在离线 RL(MPO)完成后,训练目标为 (偏好损失 + 质量损失 + 生成损失),偏好数据来自 MMPR-v1.2 与 MMPR-Tiny 数据集。如果你追求最完整的推理能力,可以选用无后缀的完整版模型;而 MPO 版本对研究"强化学习阶段对多模态推理的贡献"非常有价值。
二、整体架构一图流:视觉编码器 → MLP 桥接 → 语言模型
一次图文推理在代码中的完整路径(入口在 modeling_internvl_chat.py 的 forward 方法):
- 图片预处理:按 448px 基准切分为若干 tile(动态高分辨率策略,最多 12 块 + 1 张缩略图);
- InternViT-6B 编码:每个 tile 送入视觉编码器,输出 1024 个 patch 特征(32×32 网格,每维 3200);
- Pixel Shuffle 压缩:32×32 网格按 0.5 比例折叠为 16×16,token 数从 1024 降到 256,每个 token 维度变为 3200×4=12800;
- MLP 投影:
mlp1把 12800 维特征投影到 LLM 的 5120 维隐藏层; - 嵌入替换:在提示词里,
<img>和</img>之间的<IMG_CONTEXT>占位 token(每个 tile 恰好 256 个)被视觉特征整体替换(代码见 modeling_internvl_chat.py); - Qwen3-32B 生成:语言模型以
inputs_embeds形式接收"文本嵌入 + 图像嵌入"的混合序列,自回归地输出答案。
这种"视觉特征直接替换文本占位符嵌入"的设计,让 LLM 几乎无需改造就能"看懂"图片——这也是 InternVL 系列部署友好的关键原因。
三、视觉编码器 InternViT-6B 参数拆解
视觉侧配置在 config.json 的 vision_config 字段中(model_type 为 intern_vit_6b,初始化自 InternViT-6B-448px-V2_5),实现代码位于 modeling_intern_vit.py。
| 参数 | 取值 | 含义 |
|---|---|---|
image_size |
448 | 每个 tile 的输入边长(像素) |
patch_size |
14 | 卷积切片大小,448÷14 = 32×32 = 1024 个 patch |
num_hidden_layers |
45 | ViT 编码器深度 |
hidden_size |
3200 | patch 特征维度 |
num_attention_heads |
25 | 多头注意力头数(每头 128 维) |
norm_type |
rms_norm | 采用 RMSNorm 归一化 |
qk_normalization |
true | Q/K 额外做 RMSNorm,训练更稳定 |
use_flash_attn |
true | 启用 Flash Attention 加速 |
几个值得新手注意的实现细节(见 modeling_intern_vit.py 的 InternVisionEmbeddings):
- CLS 机制:序列首位拼接一个可学习的
class_embedding,编码器输出的<a href="https://link.gitcode.com/i/b721ea7547dabb19c93733dd364f113f" target="_blank">:, 1:, :]会把它丢弃,只保留 patch 特征([modeling_internvl_chat.py 中extract_feature方法); - 位置编码支持任意分辨率:位置嵌入通过
bicubic插值适配不同 tile 尺寸,这是"动态高分辨率"策略能工作的基础; - 动态高分辨率(Dynamic High Resolution):config.json 中
dynamic_image_size: true、max_dynamic_patch: 12、use_thumbnail: true,意味着大尺寸图片会被切成最多 12 块 + 1 张全局缩略图,每块独立过 ViT,从而在小模型体量下也能看清密集细节(OCR、图表、公式场景收益明显)。
四、语言模型 Qwen3-32B 参数拆解
语言侧配置位于 config.json 的 llm_config 字段(architectures: Qwen3ForCausalLM),由 modeling_internvl_chat.py 中的分支实例化为 Qwen3ForCausalLM。
| 参数 | 取值 | 含义 |
|---|---|---|
num_hidden_layers |
64 | 解码器层数 |
hidden_size |
5120 | 隐藏层维度(与 mlp1 输出维度对齐) |
num_attention_heads |
64 | 注意力头数 |
num_key_value_heads |
8 | GQA 分组键值头,显著降低 KV Cache 显存 |
intermediate_size |
25600 | FFN 中间层宽度(hidden_act: silu,SwiGLU 结构) |
max_position_embeddings |
40960 | 上下文窗口约 40K token |
torch_dtype |
bfloat16 | 权重精度 |
Qwen3-32B 作为底座还带来一项实用能力:Thinking 模式。tokenizer 词表中新增了 think//think 等思考标签(见 added_tokens.json),配合官方 system prompt 即可让模型"先推理、后作答",官方建议在开启思考模式时设置 do_sample=True 与 temperature=0.6 以避免复读。
五、中间桥接:Pixel Shuffle 与 mlp1 为什么这样设计
视觉特征到语言特征之间存在两个"阻抗"需要桥接:
- Token 数量:45 层 ViT 输出 1024 个 3200 维特征,直接送入 LLM 会占据超长上下文;
- 维度空间:ViT 特征空间与 Qwen3 的 5120 维词嵌入空间完全不同。
InternVL 的解法分两步(核心代码在 modeling_internvl_chat.py):
pixel_shuffle(x, scale_factor=0.5):把 32×32 网格按 2×2 邻域折叠,token 数 ÷4,维度 ×4(1024 个 3200 维 → 256 个 12800 维),信息量不变但序列短了 4 倍;mlp1:LayerNorm(12800) → Linear(12800→5120) → GELU → Linear(5120→5120),把压缩后特征投影进 LLM 空间。
这个 4:1 的压缩比意味着 每张 448px tile 最终只消耗 LLM 上下文的 256 个 token。以最多 12 块 + 1 缩略图为例,一张高分辨率大图约 3328 个视觉 token——既保留了细节,又没有撑爆 40K 的上下文窗口。downsample_ratio=0.5 与 ps_version=v2 均在 config.json 中显式声明,num_image_token(=256)也由模型初始化时自动算出(modeling_internvl_chat.py)。
六、权重文件与部署规格速览
打开本仓库目录,你会看到 16 个分片文件 model-00001-of-00016.safetensors ~ model-00016-of-00016.safetensors,以及索引文件 model.safetensors.index.json。按权重张量统计,整个模型由三部分构成:
| 模块 | 张量数 | 对应代码 |
|---|---|---|
language_model(Qwen3-32B) |
707 | modeling_internvl_chat.py |
vision_model(InternViT-6B) |
589 | modeling_intern_vit.py |
mlp1(桥接器) |
6 | modeling_internvl_chat.py |
配套的元数据文件也值得认识:
- config.json:视觉/语言双配置根文件,
auto_map指向自定义建模代码; - tokenizer_config.json 与 vocab.json:基于 Qwen3 词表(151936 词)扩展了
<img>、</img>、<IMG_CONTEXT>等图像占位符(added_tokens.json); - conversation.py:对话模板,本模型使用
internvl2_5模板(见 config.json 的template字段); - generation_config.json:默认生成参数。
硬件规格(来自 README.md Quick Start):
- 38B 模型建议 2 张 A100(
device_map="auto"或 LMDeploytp=2); - 需
transformers>=4.52.1,加载时必须加trust_remote_code=True以启用仓库内自定义代码; - 支持 16-bit 全精度与 BNB 8-bit 量化两种加载方式,也兼容 LMDeploy 与 vLLM 部署。
加载示例(多卡场景):
from transformers import AutoModel
import torch
model = AutoModel.from_pretrained(
"OpenGVLab/InternVL3_5-38B-MPO",
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
use_flash_attn=True,
trust_remote_code=True,
device_map="auto",
).eval()
七、协同工作全链路小结
用一句话总结 InternVL3_5-38B-MPO 的架构精髓:"ViT 提特征、Shuffle 压长度、MLP 转空间、LLM 做推理"。
| 环节 | 组件 | 输入 | 输出 |
|---|---|---|---|
| 切图 | 动态预处理 | 原图 | ≤12 块 448px tile + 缩略图 |
| 编码 | InternViT-6B(45 层) | 1 个 tile | 1024 × 3200 patch 特征 |
| 压缩 | Pixel Shuffle(0.5) | 32×32 网格 | 16×16 = 256 个 12800 维向量 |
| 投影 | mlp1 | 256 × 12800 | 256 × 5120 视觉 token |
| 生成 | Qwen3-32B(64 层) | 文本 + 视觉混合嵌入 | 自回归回答 |
理解这条链路后,你就能解释很多"为什么":为什么 OCR 类任务收益大(动态高分辨率保留细节)、为什么显存占用可控(GQA + 4:1 token 压缩)、为什么 MPO 阶段能显著提升数学推理(偏好优化作用于 Qwen3-32B 的回答分布,而视觉特征提供稳定的感知输入)。
扩展阅读:InternVL3.5 完整版还支持 Visual Resolution Router(ViR)视觉分辨率路由与 DvD 视觉-语言解耦部署等进阶设计,可参见 README.md 的 Training and Deployment Strategy 章节;各训练阶段权重(Pretrained / Instruct / MPO)的完整对照表同样列在 README.md 的 InternVL3.5 Family 一节。
<输出文章>