InternVL3_5-8B-MPO 架构深度拆解:ViT–MLP–LLM 范式与动态高分辨率机制全解析

原创2026-10-19 12:03:452,232 阅读

InternVL3_5-8B-MPO 架构深度拆解:ViT–MLP–LLM 范式与动态高分辨率机制全解析

InternVL3_5-8B-MPO 是书生·万象(InternVL3.5)系列中的一款 8B 级多模态大模型,采用经典的 ViT–MLP–LLM 三段式架构,并内置了动态高分辨率(Dynamic High Resolution)图像理解机制。本文带你从配置、结构到关键参数,零基础看懂它"如何把一张图变成大模型能读懂的语言"。🔍


一、先认识一下:InternVL3_5-8B-MPO 是什么?

简单说,它是一个既能看图又能聊天的多模态大模型,总参数量约 8.5B(视觉端约 0.3B + 语言端约 8.2B)。

它的名字里有个关键词 MPO(Mixed Preference Optimization,混合偏好优化)。根据 README.md 的训练说明,InternVL3.5 采用"级联强化学习(Cascade RL)"训练路线,MPO 正是其中离线 RL 阶段的核心算法:

  • 离线 RL(MPO):先用"偏好 + 质量 + 生成"三类损失联合微调,快速把模型能力拉到一个稳定水平;
  • 在线 RL(GSPO):再用模型自身生成的样本做精调。

📌 本仓库 InternVL3_5-8B-MPO 对应的训练阶段是 CPT(多模态持续预训练)+ SFT(监督微调)+ MPO,基于 InternVL3_5-8B-Instruct 微调而来,训练数据为 MMPR-v1.2 与 MMPR-Tiny。

如果你不确定选哪个版本,README 的建议是:**不带后缀的完整版(走完整个训练管线)**通常效果最好;而 -MPO 则更适合研究 MPO 阶段的能力表现。


二、整体架构:ViT–MLP–LLM 三段式 🧩

InternVL3.5 全系沿用 "ViT–MLP–LLM" 范式,可以理解为一条流水线:

图像 ──▶ ① ViT 视觉编码器 ──▶ ② MLP 投影层 ──▶ ③ LLM 语言模型 ──▶ 文本回复
        (InternViT-300M)        (像素重排+MLP)         (Qwen3-8B)

下面逐个拆解每一段。

1)ViT:视觉编码器 InternViT-300M

负责把原始像素转成"语义特征"。它的关键配置来自 config.json 中的 vision_config:

参数 取值 含义
hidden_size 1024 视觉特征维度
patch_size 14 每块图像的边长
image_size 448 单个切块(tile)的边长
num_hidden_layers 24 编码器层数
num_attention_heads 16 注意力头数

🔎 一个 448×448 的切块,按 patch_size=14 切分,会得到 (448/14)² = 32×32 = 1024 个图像 patch。

实现细节可参考 modeling_intern_vit.py 中的 InternVisionEmbeddings(负责 patch 嵌入 + 可插值位置编码)与 modeling_intern_vit.py 的 InternVisionModel。它支持 FlashAttention2,并可通过 select_layer 选择不同深度层的特征。

2)MLP:连接视觉与语言的"桥梁" 🌉

视觉特征(1024 维)和语言模型(4096 维)维度不一致,需要一座"桥"。这座桥分两步:

  • 像素重排(pixel shuffle):先把 1024 个 token 在空间上做 2×2 合并,压缩成 256 个 token(每个 token 维度升到 4096),大幅减少送入 LLM 的视觉 token 数量;
  • MLP 前馈层:再映射到语言模型的隐藏维度。

代码见 modeling_internvl_chat.py 的 mlp1:

LayerNorm(4096) → Linear(4096, 4096) → GELU → Linear(4096, 4096)

而压缩逻辑在 modeling_internvl_chat.py 的 pixel_shuffle 中实现,downsample_ratio=0.5 表示"每个方向压缩一半",四个相邻 patch 合并为一个,因此 token 数变为原来的 1/4。

💡 为什么压缩?因为视觉 token 太多会挤爆 LLM 的上下文窗口。把 1024 压到 256,既省算力又保信息。

3)LLM:语言大脑 Qwen3-8B 🧠

最终的大脑来自 llm_config(见 config.json),基于 Qwen3-8B 初始化:

参数 取值 含义
hidden_size 4096 语言隐藏维度
num_hidden_layers 36 Transformer 层数
num_attention_heads 32 注意力头数
num_key_value_heads 8 GQA,压缩 KV 缓存
vocab_size 151936 词表大小

视觉特征会以"替换占位符嵌入"的方式注入到文本序列中——找到所有 <IMG_CONTEXT> 的位置,把它们的向量直接换成视觉特征,再交给 LLM 生成回复。核心逻辑见 modeling_internvl_chat.py 的 forward 与 modeling_internvl_chat.py 的 generate。


三、动态高分辨率机制:一张图如何变成 token ✂️

这是 InternVL 系列的招牌能力:不固定分辨率,而是根据图片真实比例"聪明地"切块。

配置中三个关键开关(来自 config.json):

  • dynamic_image_size: true —— 开启动态尺寸;
  • force_image_size: 448 —— 每个切块统一为 448×448;
  • min_dynamic_patch: 1 / max_dynamic_patch: 12 —— 切块数量范围;
  • use_thumbnail: true —— 额外拼一张缩略图,帮助模型"看全局"。

1)动态切块:按宽高比选格子数

推理时(见 README.md 的 Quick Start 示例)会先调用 dynamic_preprocess:

  1. 计算原图宽高比;
  2. 在 1×1 到 max_num(最多 12 格)的所有 i×j 组合中,选出最接近原图比例的一种;
  3. 把图 resize 后切成对应数量的 448×448 小图;
  4. 若开启缩略图,再追加一张 448×448 的整体缩略。

举个例子 🌰:

  • 一张 1:1 方图 → 可能只切 1×1(1 块);
  • 一张 16:9 横图 → 可能切成 4×3(12 块);
  • 外加 1 张缩略图 → 最多 13 个 tile。

2)每个切块 = 256 个视觉 token

每个 448×448 的 tile,经 ViT 得到 1024 个 patch,再经 pixel_shuffle 压缩到 256 个。模型在 modeling_internvl_chat.py 中直接算出这个值:

num_image_token = (448 // 14)² × (0.5)² = 32² × 0.25 = 256

所以一张满格图(12 块 + 1 缩略)最多会产生约 13 × 256 ≈ 3328 个视觉 token。

3)占位符:把"空位"填上视觉特征

文本里的 <image> 会被展开成一串占位符。三个特殊 token 定义在 added_tokens.json:

  • <img>(ID 151669):图像开始;
  • </img>(ID 151670):图像结束;
  • <IMG_CONTEXT>(ID 151671):每个视觉特征占一个坑位。

即:<image> → <img> + <IMG_CONTEXT>×(256×块数) + </img>。展开逻辑见 modeling_internvl_chat.py。这样,"图"就被精确地"钉"进了文本序列的对应位置。


四、关键参数速查表 📋

把上面散落的信息汇总成一张表,方便快速对照(来源:config.json 与 configuration_internvl_chat.py):

组件 参数 取值
顶层 model_type internvl_chat
顶层 downsample_ratio 0.5
顶层 max_dynamic_patch / min_dynamic_patch 12 / 1
顶层 use_thumbnail true
顶层 template internvl2_5
ViT hidden_size / patch_size 1024 / 14
LLM 架构 Qwen3ForCausalLM
LLM hidden_size / 层数 4096 / 36
计算 每块视觉 token 数 256

对话模板(internvl2_5)定义在 conversation.py,采用 ChatML 风格(<|system|> / <|user|> / <|assistant|>),系统提示为"书生·万象 InternVL"。


五、快速上手:三步加载模型 🚀

下面是最简加载 + 单图对话流程(依赖 transformers>=4.52.1)。完整示例见 README.md 的 Quick Start。

① 加载模型与分词器

import torch
from transformers import AutoTokenizer, AutoModel

path = "OpenGVLab/InternVL3_5-8B-MPO"
model = AutoModel.from_pretrained(
    path, torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True, use_flash_attn=True,
    trust_remote_code=True, device_map="auto").eval()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)

② 加载图像(自动触发动态切块)

pixel_values = load_image("your_image.jpg", max_num=12).to(torch.bfloat16).cuda()

③ 对话

question = "<image>\n请用一句话描述这张图。"
response = model.chat(tokenizer, pixel_values, question,
                      dict(max_new_tokens=512, do_sample=True))
print(response)

💡 8B 及以下的 InternVL3.5 模型单张 A100 即可部署;若显存吃紧,可加 load_in_8bit=True 做量化。支持 LMDeploy / vLLM 加速推理,也支持多图与视频多轮对话(详见 README.md)。


六、小结 🎯

  • 架构:InternVL3_5-8B-MPO = InternViT-300M(ViT)+ 像素重排 & MLP(桥梁)+ Qwen3-8B(LLM),是典型的 ViT–MLP–LLM 范式;
  • 动态高分辨率:按图片真实比例自适应切块(最多 12 块 + 缩略),每块经像素重排压缩为 256 个视觉 token,用 <IMG_CONTEXT> 占位符精准注入文本;
  • MPO 定位:它是级联强化学习"离线 RL"阶段的产物,相比完整CascadeRL版本,更适合研究偏好优化阶段的能力表现;
  • 易上手:几行代码即可加载,8B 体量单卡可跑,适合个人开发者与研究者快速验证多模态能力。

想深入了解训练目标与部署策略,可继续阅读 README.md 中的 Training and Deployment 章节,或对照 modeling_internvl_chat.py 与 modeling_intern_vit.py 的源码逐行拆解。

登录后查看全文
InternVL3_5-8B-MPO