InternVL3_5-8B-MPO 架构深度拆解:ViT–MLP–LLM 范式与动态高分辨率机制全解析
InternVL3_5-8B-MPO 架构深度拆解:ViT–MLP–LLM 范式与动态高分辨率机制全解析
InternVL3_5-8B-MPO 是书生·万象(InternVL3.5)系列中的一款 8B 级多模态大模型,采用经典的 ViT–MLP–LLM 三段式架构,并内置了动态高分辨率(Dynamic High Resolution)图像理解机制。本文带你从配置、结构到关键参数,零基础看懂它"如何把一张图变成大模型能读懂的语言"。🔍
一、先认识一下:InternVL3_5-8B-MPO 是什么?
简单说,它是一个既能看图又能聊天的多模态大模型,总参数量约 8.5B(视觉端约 0.3B + 语言端约 8.2B)。
它的名字里有个关键词 MPO(Mixed Preference Optimization,混合偏好优化)。根据 README.md 的训练说明,InternVL3.5 采用"级联强化学习(Cascade RL)"训练路线,MPO 正是其中离线 RL 阶段的核心算法:
- 离线 RL(MPO):先用"偏好 + 质量 + 生成"三类损失联合微调,快速把模型能力拉到一个稳定水平;
- 在线 RL(GSPO):再用模型自身生成的样本做精调。
📌 本仓库 InternVL3_5-8B-MPO 对应的训练阶段是 CPT(多模态持续预训练)+ SFT(监督微调)+ MPO,基于 InternVL3_5-8B-Instruct 微调而来,训练数据为 MMPR-v1.2 与 MMPR-Tiny。
如果你不确定选哪个版本,README 的建议是:**不带后缀的完整版(走完整个训练管线)**通常效果最好;而
-MPO则更适合研究 MPO 阶段的能力表现。
二、整体架构:ViT–MLP–LLM 三段式 🧩
InternVL3.5 全系沿用 "ViT–MLP–LLM" 范式,可以理解为一条流水线:
图像 ──▶ ① ViT 视觉编码器 ──▶ ② MLP 投影层 ──▶ ③ LLM 语言模型 ──▶ 文本回复
(InternViT-300M) (像素重排+MLP) (Qwen3-8B)
下面逐个拆解每一段。
1)ViT:视觉编码器 InternViT-300M
负责把原始像素转成"语义特征"。它的关键配置来自 config.json 中的 vision_config:
| 参数 | 取值 | 含义 |
|---|---|---|
hidden_size |
1024 | 视觉特征维度 |
patch_size |
14 | 每块图像的边长 |
image_size |
448 | 单个切块(tile)的边长 |
num_hidden_layers |
24 | 编码器层数 |
num_attention_heads |
16 | 注意力头数 |
🔎 一个 448×448 的切块,按 patch_size=14 切分,会得到 (448/14)² = 32×32 = 1024 个图像 patch。
实现细节可参考 modeling_intern_vit.py 中的 InternVisionEmbeddings(负责 patch 嵌入 + 可插值位置编码)与 modeling_intern_vit.py 的 InternVisionModel。它支持 FlashAttention2,并可通过 select_layer 选择不同深度层的特征。
2)MLP:连接视觉与语言的"桥梁" 🌉
视觉特征(1024 维)和语言模型(4096 维)维度不一致,需要一座"桥"。这座桥分两步:
- 像素重排(pixel shuffle):先把 1024 个 token 在空间上做 2×2 合并,压缩成 256 个 token(每个 token 维度升到 4096),大幅减少送入 LLM 的视觉 token 数量;
- MLP 前馈层:再映射到语言模型的隐藏维度。
代码见 modeling_internvl_chat.py 的 mlp1:
LayerNorm(4096) → Linear(4096, 4096) → GELU → Linear(4096, 4096)
而压缩逻辑在 modeling_internvl_chat.py 的 pixel_shuffle 中实现,downsample_ratio=0.5 表示"每个方向压缩一半",四个相邻 patch 合并为一个,因此 token 数变为原来的 1/4。
💡 为什么压缩?因为视觉 token 太多会挤爆 LLM 的上下文窗口。把 1024 压到 256,既省算力又保信息。
3)LLM:语言大脑 Qwen3-8B 🧠
最终的大脑来自 llm_config(见 config.json),基于 Qwen3-8B 初始化:
| 参数 | 取值 | 含义 |
|---|---|---|
hidden_size |
4096 | 语言隐藏维度 |
num_hidden_layers |
36 | Transformer 层数 |
num_attention_heads |
32 | 注意力头数 |
num_key_value_heads |
8 | GQA,压缩 KV 缓存 |
vocab_size |
151936 | 词表大小 |
视觉特征会以"替换占位符嵌入"的方式注入到文本序列中——找到所有 <IMG_CONTEXT> 的位置,把它们的向量直接换成视觉特征,再交给 LLM 生成回复。核心逻辑见 modeling_internvl_chat.py 的 forward 与 modeling_internvl_chat.py 的 generate。
三、动态高分辨率机制:一张图如何变成 token ✂️
这是 InternVL 系列的招牌能力:不固定分辨率,而是根据图片真实比例"聪明地"切块。
配置中三个关键开关(来自 config.json):
dynamic_image_size: true—— 开启动态尺寸;force_image_size: 448—— 每个切块统一为 448×448;min_dynamic_patch: 1/max_dynamic_patch: 12—— 切块数量范围;use_thumbnail: true—— 额外拼一张缩略图,帮助模型"看全局"。
1)动态切块:按宽高比选格子数
推理时(见 README.md 的 Quick Start 示例)会先调用 dynamic_preprocess:
- 计算原图宽高比;
- 在
1×1到max_num(最多 12 格)的所有i×j组合中,选出最接近原图比例的一种; - 把图 resize 后切成对应数量的 448×448 小图;
- 若开启缩略图,再追加一张 448×448 的整体缩略。
举个例子 🌰:
- 一张 1:1 方图 → 可能只切
1×1(1 块); - 一张 16:9 横图 → 可能切成
4×3(12 块); - 外加 1 张缩略图 → 最多 13 个 tile。
2)每个切块 = 256 个视觉 token
每个 448×448 的 tile,经 ViT 得到 1024 个 patch,再经 pixel_shuffle 压缩到 256 个。模型在 modeling_internvl_chat.py 中直接算出这个值:
num_image_token = (448 // 14)² × (0.5)² = 32² × 0.25 = 256
所以一张满格图(12 块 + 1 缩略)最多会产生约 13 × 256 ≈ 3328 个视觉 token。
3)占位符:把"空位"填上视觉特征
文本里的 <image> 会被展开成一串占位符。三个特殊 token 定义在 added_tokens.json:
<img>(ID 151669):图像开始;</img>(ID 151670):图像结束;<IMG_CONTEXT>(ID 151671):每个视觉特征占一个坑位。
即:<image> → <img> + <IMG_CONTEXT>×(256×块数) + </img>。展开逻辑见 modeling_internvl_chat.py。这样,"图"就被精确地"钉"进了文本序列的对应位置。
四、关键参数速查表 📋
把上面散落的信息汇总成一张表,方便快速对照(来源:config.json 与 configuration_internvl_chat.py):
| 组件 | 参数 | 取值 |
|---|---|---|
| 顶层 | model_type |
internvl_chat |
| 顶层 | downsample_ratio |
0.5 |
| 顶层 | max_dynamic_patch / min_dynamic_patch |
12 / 1 |
| 顶层 | use_thumbnail |
true |
| 顶层 | template |
internvl2_5 |
| ViT | hidden_size / patch_size |
1024 / 14 |
| LLM | 架构 | Qwen3ForCausalLM |
| LLM | hidden_size / 层数 |
4096 / 36 |
| 计算 | 每块视觉 token 数 | 256 |
对话模板(internvl2_5)定义在 conversation.py,采用 ChatML 风格(<|system|> / <|user|> / <|assistant|>),系统提示为"书生·万象 InternVL"。
五、快速上手:三步加载模型 🚀
下面是最简加载 + 单图对话流程(依赖 transformers>=4.52.1)。完整示例见 README.md 的 Quick Start。
① 加载模型与分词器
import torch
from transformers import AutoTokenizer, AutoModel
path = "OpenGVLab/InternVL3_5-8B-MPO"
model = AutoModel.from_pretrained(
path, torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True, use_flash_attn=True,
trust_remote_code=True, device_map="auto").eval()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)
② 加载图像(自动触发动态切块)
pixel_values = load_image("your_image.jpg", max_num=12).to(torch.bfloat16).cuda()
③ 对话
question = "<image>\n请用一句话描述这张图。"
response = model.chat(tokenizer, pixel_values, question,
dict(max_new_tokens=512, do_sample=True))
print(response)
💡 8B 及以下的 InternVL3.5 模型单张 A100 即可部署;若显存吃紧,可加
load_in_8bit=True做量化。支持 LMDeploy / vLLM 加速推理,也支持多图与视频多轮对话(详见 README.md)。
六、小结 🎯
- 架构:
InternVL3_5-8B-MPO= InternViT-300M(ViT)+ 像素重排 & MLP(桥梁)+ Qwen3-8B(LLM),是典型的 ViT–MLP–LLM 范式; - 动态高分辨率:按图片真实比例自适应切块(最多 12 块 + 缩略),每块经像素重排压缩为 256 个视觉 token,用
<IMG_CONTEXT>占位符精准注入文本; - MPO 定位:它是级联强化学习"离线 RL"阶段的产物,相比完整CascadeRL版本,更适合研究偏好优化阶段的能力表现;
- 易上手:几行代码即可加载,8B 体量单卡可跑,适合个人开发者与研究者快速验证多模态能力。
想深入了解训练目标与部署策略,可继续阅读 README.md 中的 Training and Deployment 章节,或对照 modeling_internvl_chat.py 与 modeling_intern_vit.py 的源码逐行拆解。