InternVL3_5-38B-MPO架构拆解:InternViT-6B视觉编码器与Qwen3-32B如何协同工作

原创2026-10-18 11:49:321,976 阅读

InternVL3_5-38B-MPO架构拆解:InternViT-6B视觉编码器与Qwen3-32B如何协同工作

本文带你完整拆解开源多模态大模型 InternVL3_5-38B-MPO 的内部架构:约 5.5B 参数的 InternViT-6B 视觉编码器(Vision Encoder)负责"看图",约 32.8B 参数的 Qwen3-32B 语言模型(LLM)负责"思考与回答",中间由一个 4 层 MLP 桥接器完成特征转换与压缩。全文基于仓库内的 config.json、modeling_internvl_chat.py、modeling_intern_vit.py 等真实文件逐行核对,帮你快速建立对 ViT–MLP–LLM 三件套的完整认知。

一、38B-MPO 是什么:一个完成 MPO 后训练阶段的视觉语言模型

InternVL3_5-38B-MPO 属于 InternVL3.5 系列的 38B 档(视觉参数约 5.5B + 语言参数约 32.8B,总计约 38.4B),遵循 InternVL 系列一贯的 "ViT–MLP–LLM" 范式(见 README.md 的 Model Architecture 一节)。

它的训练流水线分为四个阶段:

阶段 全称 作用
CPT 多模态继续预训练 用大规模图文语料联合更新全部参数
SFT 监督微调 32K 上下文的指令跟随与思考模式数据
MPO 混合偏好优化(Mixed Preference Optimization) 离线强化学习阶段,结合 DPO/BCO/LM 三种损失
GSPO 在线 RL 算法 完成完整管线后的最终对齐(本仓库不含)

也就是说,"-MPO" 后缀表示该权重停在离线 RL(MPO)完成后,训练目标为 LMPO=wpLp+wqLq+wgLg\mathcal{L}_{MPO}=w_p\mathcal{L}_p+w_q\mathcal{L}_q+w_g\mathcal{L}_g(偏好损失 + 质量损失 + 生成损失),偏好数据来自 MMPR-v1.2 与 MMPR-Tiny 数据集。如果你追求最完整的推理能力,可以选用无后缀的完整版模型;而 MPO 版本对研究"强化学习阶段对多模态推理的贡献"非常有价值。

二、整体架构一图流:视觉编码器 → MLP 桥接 → 语言模型

一次图文推理在代码中的完整路径(入口在 modeling_internvl_chat.py 的 forward 方法):

  1. 图片预处理:按 448px 基准切分为若干 tile(动态高分辨率策略,最多 12 块 + 1 张缩略图);
  2. InternViT-6B 编码:每个 tile 送入视觉编码器,输出 1024 个 patch 特征(32×32 网格,每维 3200);
  3. Pixel Shuffle 压缩:32×32 网格按 0.5 比例折叠为 16×16,token 数从 1024 降到 256,每个 token 维度变为 3200×4=12800;
  4. MLP 投影:mlp1 把 12800 维特征投影到 LLM 的 5120 维隐藏层;
  5. 嵌入替换:在提示词里,<img> 和 </img> 之间的 <IMG_CONTEXT> 占位 token(每个 tile 恰好 256 个)被视觉特征整体替换(代码见 modeling_internvl_chat.py);
  6. Qwen3-32B 生成:语言模型以 inputs_embeds 形式接收"文本嵌入 + 图像嵌入"的混合序列,自回归地输出答案。

这种"视觉特征直接替换文本占位符嵌入"的设计,让 LLM 几乎无需改造就能"看懂"图片——这也是 InternVL 系列部署友好的关键原因。

三、视觉编码器 InternViT-6B 参数拆解

视觉侧配置在 config.json 的 vision_config 字段中(model_type 为 intern_vit_6b,初始化自 InternViT-6B-448px-V2_5),实现代码位于 modeling_intern_vit.py。

参数 取值 含义
image_size 448 每个 tile 的输入边长(像素)
patch_size 14 卷积切片大小,448÷14 = 32×32 = 1024 个 patch
num_hidden_layers 45 ViT 编码器深度
hidden_size 3200 patch 特征维度
num_attention_heads 25 多头注意力头数(每头 128 维)
norm_type rms_norm 采用 RMSNorm 归一化
qk_normalization true Q/K 额外做 RMSNorm,训练更稳定
use_flash_attn true 启用 Flash Attention 加速

几个值得新手注意的实现细节(见 modeling_intern_vit.py 的 InternVisionEmbeddings):

  • CLS 机制:序列首位拼接一个可学习的 class_embedding,编码器输出的 <a href="https://link.gitcode.com/i/b721ea7547dabb19c93733dd364f113f" target="_blank">:, 1:, :] 会把它丢弃,只保留 patch 特征([modeling_internvl_chat.py 中 extract_feature 方法);
  • 位置编码支持任意分辨率:位置嵌入通过 bicubic 插值适配不同 tile 尺寸,这是"动态高分辨率"策略能工作的基础;
  • 动态高分辨率(Dynamic High Resolution):config.json 中 dynamic_image_size: true、max_dynamic_patch: 12、use_thumbnail: true,意味着大尺寸图片会被切成最多 12 块 + 1 张全局缩略图,每块独立过 ViT,从而在小模型体量下也能看清密集细节(OCR、图表、公式场景收益明显)。

四、语言模型 Qwen3-32B 参数拆解

语言侧配置位于 config.json 的 llm_config 字段(architectures: Qwen3ForCausalLM),由 modeling_internvl_chat.py 中的分支实例化为 Qwen3ForCausalLM。

参数 取值 含义
num_hidden_layers 64 解码器层数
hidden_size 5120 隐藏层维度(与 mlp1 输出维度对齐)
num_attention_heads 64 注意力头数
num_key_value_heads 8 GQA 分组键值头,显著降低 KV Cache 显存
intermediate_size 25600 FFN 中间层宽度(hidden_act: silu,SwiGLU 结构)
max_position_embeddings 40960 上下文窗口约 40K token
torch_dtype bfloat16 权重精度

Qwen3-32B 作为底座还带来一项实用能力:Thinking 模式。tokenizer 词表中新增了 think//think 等思考标签(见 added_tokens.json),配合官方 system prompt 即可让模型"先推理、后作答",官方建议在开启思考模式时设置 do_sample=True 与 temperature=0.6 以避免复读。

五、中间桥接:Pixel Shuffle 与 mlp1 为什么这样设计

视觉特征到语言特征之间存在两个"阻抗"需要桥接:

  • Token 数量:45 层 ViT 输出 1024 个 3200 维特征,直接送入 LLM 会占据超长上下文;
  • 维度空间:ViT 特征空间与 Qwen3 的 5120 维词嵌入空间完全不同。

InternVL 的解法分两步(核心代码在 modeling_internvl_chat.py):

  1. pixel_shuffle(x, scale_factor=0.5):把 32×32 网格按 2×2 邻域折叠,token 数 ÷4,维度 ×4(1024 个 3200 维 → 256 个 12800 维),信息量不变但序列短了 4 倍;
  2. mlp1:LayerNorm(12800) → Linear(12800→5120) → GELU → Linear(5120→5120),把压缩后特征投影进 LLM 空间。

这个 4:1 的压缩比意味着 每张 448px tile 最终只消耗 LLM 上下文的 256 个 token。以最多 12 块 + 1 缩略图为例,一张高分辨率大图约 3328 个视觉 token——既保留了细节,又没有撑爆 40K 的上下文窗口。downsample_ratio=0.5 与 ps_version=v2 均在 config.json 中显式声明,num_image_token(=256)也由模型初始化时自动算出(modeling_internvl_chat.py)。

六、权重文件与部署规格速览

打开本仓库目录,你会看到 16 个分片文件 model-00001-of-00016.safetensors ~ model-00016-of-00016.safetensors,以及索引文件 model.safetensors.index.json。按权重张量统计,整个模型由三部分构成:

模块 张量数 对应代码
language_model(Qwen3-32B) 707 modeling_internvl_chat.py
vision_model(InternViT-6B) 589 modeling_intern_vit.py
mlp1(桥接器) 6 modeling_internvl_chat.py

配套的元数据文件也值得认识:

硬件规格(来自 README.md Quick Start):

  • 38B 模型建议 2 张 A100(device_map="auto" 或 LMDeploy tp=2);
  • 需 transformers>=4.52.1,加载时必须加 trust_remote_code=True 以启用仓库内自定义代码;
  • 支持 16-bit 全精度与 BNB 8-bit 量化两种加载方式,也兼容 LMDeploy 与 vLLM 部署。

加载示例(多卡场景):

from transformers import AutoModel
import torch

model = AutoModel.from_pretrained(
    "OpenGVLab/InternVL3_5-38B-MPO",
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    use_flash_attn=True,
    trust_remote_code=True,
    device_map="auto",
).eval()

七、协同工作全链路小结

用一句话总结 InternVL3_5-38B-MPO 的架构精髓:"ViT 提特征、Shuffle 压长度、MLP 转空间、LLM 做推理"。

环节 组件 输入 输出
切图 动态预处理 原图 ≤12 块 448px tile + 缩略图
编码 InternViT-6B(45 层) 1 个 tile 1024 × 3200 patch 特征
压缩 Pixel Shuffle(0.5) 32×32 网格 16×16 = 256 个 12800 维向量
投影 mlp1 256 × 12800 256 × 5120 视觉 token
生成 Qwen3-32B(64 层) 文本 + 视觉混合嵌入 自回归回答

理解这条链路后,你就能解释很多"为什么":为什么 OCR 类任务收益大(动态高分辨率保留细节)、为什么显存占用可控(GQA + 4:1 token 压缩)、为什么 MPO 阶段能显著提升数学推理(偏好优化作用于 Qwen3-32B 的回答分布,而视觉特征提供稳定的感知输入)。

扩展阅读:InternVL3.5 完整版还支持 Visual Resolution Router(ViR)视觉分辨率路由与 DvD 视觉-语言解耦部署等进阶设计,可参见 README.md 的 Training and Deployment Strategy 章节;各训练阶段权重(Pretrained / Instruct / MPO)的完整对照表同样列在 README.md 的 InternVL3.5 Family 一节。

<输出文章>

登录后查看全文
InternVL3_5-38B-MPO