InternVL2_5-38B-MPO-AWQ 架构全解:ViT-MLP-LLM 范式与动态分辨率机制剖析
InternVL2_5-38B-MPO-AWQ 架构全解:ViT-MLP-LLM 范式与动态分辨率机制剖析
InternVL2_5-38B-MPO-AWQ 是 OpenGVLab 书生·万象(InternVL)系列的多模态大语言模型,基于 ViT-MLP-LLM 架构与动态分辨率机制,经 AWQ 4-bit 量化后体积更小、推理更快,适合本地部署与多模态推理任务。
本文将从模型组成、配置参数、视觉编码、MLP 投影器到 LLM 语言主干,带你完整看懂这个 38B 多模态大模型是如何"看图说话"的。🔍
一张表看懂模型组成
InternVL2_5-38B-MPO-AWQ 是一个典型的"三件套"多模态模型,核心文件与权重分布如下:
| 组件 | 对应模块 | 说明 |
|---|---|---|
| 视觉编码器 ViT | InternViT-6B(448px) | 负责把图像切成小块并编码为视觉特征 |
| 语言主干 LLM | Qwen2.5-32B-Instruct | 负责理解指令并生成文字回答 |
| 投影器 MLP | mlp1 两层线性层 |
把视觉特征"翻译"成 LLM 能懂的语言空间向量 |
| 量化配置 | AWQ 4-bit | 压缩语言模型权重,降低显存占用 |
从权重索引 pytorch_model.bin.index.json 可以看到全部 2262 个权重参数恰好分为三部分:vision_model(589 个)、language_model(1667 个)和 mlp1(6 个),与上表完全对应。
模型主配置见 config.json,架构类型标记为 InternVLChatModel,对话模板为 internvl2_5。
什么是 ViT-MLP-LLM 范式
ViT-MLP-LLM 是 InternVL 系列一贯坚持的模型范式,可以把三个模块理解为一套"翻译流水线":
- ViT(Vision Transformer,视觉编码器):把输入图像切成 14×14 像素的小块(patch),逐块提取视觉特征,相当于"看";
- MLP(投影器):视觉特征和语言是两种不同的"方言",MLP 负责把视觉向量投影到 LLM 的词汇空间,相当于"翻译";
- LLM(大语言模型):拿到融合后的文本 + 图像向量后,像正常对话一样生成回答,相当于"说"。
在这个 38B 版本中,视觉侧选用 6B 参数的 InternViT-6B(448px 输入),语言侧选用 Qwen2.5-32B-Instruct,两者相加即"38B"的由来。
源码入口在 modeling_internvl_chat.py:InternVLChatModel 类在初始化时分别加载 self.vision_model 与 self.language_model,并构建 mlp1 投影器(见 modeling_internvl_chat.py#L78-L83)。
视觉编码器 InternViT 的关键设计
视觉主干实现位于 modeling_intern_vit.py,对应配置见 configuration_intern_vit.py。关键参数包括:
- hidden_size = 3200:每个视觉 token 的向量维度;
- num_hidden_layers = 45:45 层 Transformer 编码器;
- num_attention_heads = 25:多头注意力头数;
- patch_size = 14、image_size = 448:图像被切成 32×32 = 1024 个 patch。
InternViT 还有两个值得一提的细节:
① QK-Norm 归一化。注意力计算前对 Q、K 向量做 RMSNorm(qk_normalization: true),能显著提升训练与推理的稳定性,这在 modeling_intern_vit.py#L200-L208 中实现。
② 可缩放位置编码。位置编码通过双三次插值(bicubic)动态适配不同网格尺寸,见 modeling_intern_vit.py#L154-L160——这正是动态分辨率能工作的基础之一。
动态分辨率机制:让模型"自适应看图"
这是 InternVL2.5 系列最实用的架构特性之一。传统 VLM 会把所有图像压缩成固定尺寸(如 224×224),大图里的细节(小字、密集表格)会被严重丢失。InternVL 的做法是:
- 切块(Tile):把原图按 448×448 像素切成若干方块(tile),每块独立送入 ViT 编码;
- 缩略图(Thumbnail):同时保留一张 448×448 的全局缩略图,让模型既知道"整体长什么样",又知道"每个局部细节";
- 动态 patch 数:图越大切出的块越多,
min_dynamic_patch到max_dynamic_patch(本模型为 1~12,见 config.json)之间动态伸缩——小图少给 token,大图多给 token,算力分配更聪明。
相关配置一目了然:
| 参数 | 值 | 含义 |
|---|---|---|
dynamic_image_size |
true | 启用动态分辨率 |
force_image_size |
448 | 每个 tile / 缩略图的固定边长 |
max_dynamic_patch |
12 | 单张图最多切 12 块 |
use_thumbnail |
true | 启用全局缩略图 |
downsample_ratio |
0.5 | 像素重排下采样比例 |
像素重排(Pixel Shuffle)降 token 数:ViT 输出后经 pixel_shuffle 操作(见 modeling_internvl_chat.py#L168-L182),将相邻 2×2 的视觉 token 合并成一个,使送入 LLM 的视觉 token 数降为原来的四分之一。每块 tile 最终对应 256 个图像 token,代码中由 num_image_token 计算得出(modeling_internvl_chat.py#L52)。
这些图像 token 在文本中以 <img>、<IMG_CONTEXT>、</img> 等特殊标记占位(token 定义见 added_tokens.json),LLM 在对应位置直接读取视觉向量(modeling_internvl_chat.py#L106-L134),实现图文无缝融合。
MPO 混合偏好优化:推理能力从何而来
"38B"只是参数量,名字里的 MPO(Mixed Preference Optimization,混合偏好优化)才是这个版本推理能力更强的原因。MPO 用约 300 万条高质量多模态推理偏好数据(MMPR 数据集)对模型做对齐,把训练目标拆成三部分:
- 偏好损失(DPO):学会"哪条回答更好";
- 质量损失(BCO):学会判断回答的绝对质量高低;
- 生成损失(SFT):学会把优质回答完整生成出来。
三者加权组合,使模型在数学、OCR、幻觉抑制等能力上普遍优于未做 MPO 的基线。官方评测中,InternVL2_5-38B-MPO 的综合均分(Avg.)达 75.5,超过同尺寸的 InternVL2_5-78B(75.2)。(详见 README.md 的 Evaluation 部分。)
AWQ 量化:38B 模型如何"瘦身"落地
本仓库是 MPO 版本的 AWQ 量化版,语言主干的量化配置定义在 config.json 的 quantization_config 中:
{
"bits": 4,
"group_size": 128,
"quant_method": "awq",
"version": "gemm",
"zero_point": true
}
- 4-bit 量化:权重从 16 位压缩到 4 位,显存占用降至约 1/4;
- group_size = 128:每 128 个权重共享一组量化参数,精度损失更小;
- AWQ(Activation-aware Weight Quantization):根据激活值感知地保护重要权重通道,量化后精度损失远小于朴素截断。
量化后模型可轻松用 LMDeploy(Turbomind 引擎 + 张量并行)在消费级多卡上部署,官方给出了单图、多图、批量提示与多轮对话等完整示例,均可参考 README.md 的 Deployment 章节。
快速上手:最简部署步骤
🚀 三步跑起来(以 LMDeploy 为例):
- 安装依赖:
pip install lmdeploy>=0.6.4 - 加载模型并推理:
from lmdeploy import pipeline, TurbomindEngineConfig
from lmdeploy.vl import load_image
pipe = pipeline('OpenGVLab/InternVL2_5-38B-MPO-AWQ',
backend_config=TurbomindEngineConfig(session_len=8192, tp=2))
image = load_image('tiger.jpeg')
print(pipe(('describe this image', image)).text)
- 需要对外提供服务时,一条命令启动 OpenAI 兼容接口:
lmdeploy serve api_server OpenGVLab/InternVL2_5-38B-MPO-AWQ --server-port 23333 --tp 2
更多多图推理、批量推理与多轮会话示例见 README.md。
核心文件速查
| 文件 | 作用 |
|---|---|
| config.json | 模型总配置:ViT/LLM 参数、动态分辨率开关、AWQ 量化配置 |
| modeling_internvl_chat.py | 多模态模型主体:特征提取、图文融合、对话生成 |
| modeling_intern_vit.py | InternViT 视觉编码器:patch 嵌入、QK-Norm、FlashAttention |
| configuration_intern_vit.py | 视觉编码器配置类 |
| configuration_internvl_chat.py | 组合式配置:管理 ViT + LLM 两套子配置 |
| conversation.py | 对话模板 internvl2_5:系统提示词与角色分隔格式 |
| added_tokens.json | 图像占位 token 定义(<img>、<IMG_CONTEXT> 等) |
| preprocessor_config.json | 图像预处理:448 裁剪、B 通道归一化均值/方差 |
| pytorch_model.bin.index.json | 16 个分片权重的映射索引 |
常见问题 FAQ
Q1:为什么叫 38B?不是 6B + 32B 吗? 是的,正好是视觉侧 InternViT-6B 与语言侧 Qwen2.5-32B 的参数量相加,加上约 6 个投影层参数,合计约 38B。
Q2:AWQ 量化会影响效果吗? 影响很小。AWQ 通过激活感知选择关键权重通道加以保护,相比朴素 4-bit 截断精度损失显著更低;本模型在 MPO 对齐后的强推理能力在量化后基本保留,换来的是约 1/4 的显存占用与更快推理。
Q3:动态分辨率下 token 会很多吗?
max_dynamic_patch = 12 意味着一张大图最多 12 块,配合像素重排后每块仅 256 个 token,多图场景需适当调大 session_len(官方示例用 8192)。
Q4:它支持哪些任务?
对话问答、OCR 文字识别、数学推理(MathVista)、多图对比、图表理解、文档解析等;配合 <box>、<ref> 等额外 token(见 added_tokens.json)还能做目标框定位类任务。
总结
InternVL2_5-38B-MPO-AWQ 架构的精髓可以概括为三句话:
- ViT-MLP-LLM 三段式:InternViT-6B 看图、MLP 翻译、Qwen2.5-32B 说话,分工清晰;
- 动态分辨率 + 像素重排:448×448 切块自适应,token 数量随图像复杂度伸缩,细节与全局兼得;
- MPO + AWQ 双加持:混合偏好优化强化推理,4-bit 量化让 38B 模型真正落地可部署。
理解这套"ViT-MLP-LLM + 动态分辨率"的设计,你就能看懂 InternVL 整个家族(1B 到 78B)的架构逻辑——它们只是换用了不同规模的 ViT 与 LLM 组合而已。