InternVL2_5-38B-MPO-AWQ 架构全解:ViT-MLP-LLM 范式与动态分辨率机制剖析

原创2026-10-21 20:12:241,818 阅读

InternVL2_5-38B-MPO-AWQ 架构全解:ViT-MLP-LLM 范式与动态分辨率机制剖析

InternVL2_5-38B-MPO-AWQ 是 OpenGVLab 书生·万象(InternVL)系列的多模态大语言模型,基于 ViT-MLP-LLM 架构与动态分辨率机制,经 AWQ 4-bit 量化后体积更小、推理更快,适合本地部署与多模态推理任务。

本文将从模型组成、配置参数、视觉编码、MLP 投影器到 LLM 语言主干,带你完整看懂这个 38B 多模态大模型是如何"看图说话"的。🔍

一张表看懂模型组成

InternVL2_5-38B-MPO-AWQ 是一个典型的"三件套"多模态模型,核心文件与权重分布如下:

组件 对应模块 说明
视觉编码器 ViT InternViT-6B(448px) 负责把图像切成小块并编码为视觉特征
语言主干 LLM Qwen2.5-32B-Instruct 负责理解指令并生成文字回答
投影器 MLP mlp1 两层线性层 把视觉特征"翻译"成 LLM 能懂的语言空间向量
量化配置 AWQ 4-bit 压缩语言模型权重,降低显存占用

从权重索引 pytorch_model.bin.index.json 可以看到全部 2262 个权重参数恰好分为三部分:vision_model(589 个)、language_model(1667 个)和 mlp1(6 个),与上表完全对应。

模型主配置见 config.json,架构类型标记为 InternVLChatModel,对话模板为 internvl2_5。

什么是 ViT-MLP-LLM 范式

ViT-MLP-LLM 是 InternVL 系列一贯坚持的模型范式,可以把三个模块理解为一套"翻译流水线":

  1. ViT(Vision Transformer,视觉编码器):把输入图像切成 14×14 像素的小块(patch),逐块提取视觉特征,相当于"看";
  2. MLP(投影器):视觉特征和语言是两种不同的"方言",MLP 负责把视觉向量投影到 LLM 的词汇空间,相当于"翻译";
  3. LLM(大语言模型):拿到融合后的文本 + 图像向量后,像正常对话一样生成回答,相当于"说"。

在这个 38B 版本中,视觉侧选用 6B 参数的 InternViT-6B(448px 输入),语言侧选用 Qwen2.5-32B-Instruct,两者相加即"38B"的由来。

源码入口在 modeling_internvl_chat.py:InternVLChatModel 类在初始化时分别加载 self.vision_model 与 self.language_model,并构建 mlp1 投影器(见 modeling_internvl_chat.py#L78-L83)。

视觉编码器 InternViT 的关键设计

视觉主干实现位于 modeling_intern_vit.py,对应配置见 configuration_intern_vit.py。关键参数包括:

  • hidden_size = 3200:每个视觉 token 的向量维度;
  • num_hidden_layers = 45:45 层 Transformer 编码器;
  • num_attention_heads = 25:多头注意力头数;
  • patch_size = 14、image_size = 448:图像被切成 32×32 = 1024 个 patch。

InternViT 还有两个值得一提的细节:

① QK-Norm 归一化。注意力计算前对 Q、K 向量做 RMSNorm(qk_normalization: true),能显著提升训练与推理的稳定性,这在 modeling_intern_vit.py#L200-L208 中实现。

② 可缩放位置编码。位置编码通过双三次插值(bicubic)动态适配不同网格尺寸,见 modeling_intern_vit.py#L154-L160——这正是动态分辨率能工作的基础之一。

动态分辨率机制:让模型"自适应看图"

这是 InternVL2.5 系列最实用的架构特性之一。传统 VLM 会把所有图像压缩成固定尺寸(如 224×224),大图里的细节(小字、密集表格)会被严重丢失。InternVL 的做法是:

  1. 切块(Tile):把原图按 448×448 像素切成若干方块(tile),每块独立送入 ViT 编码;
  2. 缩略图(Thumbnail):同时保留一张 448×448 的全局缩略图,让模型既知道"整体长什么样",又知道"每个局部细节";
  3. 动态 patch 数:图越大切出的块越多,min_dynamic_patch 到 max_dynamic_patch(本模型为 1~12,见 config.json)之间动态伸缩——小图少给 token,大图多给 token,算力分配更聪明。

相关配置一目了然:

参数 值 含义
dynamic_image_size true 启用动态分辨率
force_image_size 448 每个 tile / 缩略图的固定边长
max_dynamic_patch 12 单张图最多切 12 块
use_thumbnail true 启用全局缩略图
downsample_ratio 0.5 像素重排下采样比例

像素重排(Pixel Shuffle)降 token 数:ViT 输出后经 pixel_shuffle 操作(见 modeling_internvl_chat.py#L168-L182),将相邻 2×2 的视觉 token 合并成一个,使送入 LLM 的视觉 token 数降为原来的四分之一。每块 tile 最终对应 256 个图像 token,代码中由 num_image_token 计算得出(modeling_internvl_chat.py#L52)。

这些图像 token 在文本中以 <img>、<IMG_CONTEXT>、</img> 等特殊标记占位(token 定义见 added_tokens.json),LLM 在对应位置直接读取视觉向量(modeling_internvl_chat.py#L106-L134),实现图文无缝融合。

MPO 混合偏好优化:推理能力从何而来

"38B"只是参数量,名字里的 MPO(Mixed Preference Optimization,混合偏好优化)才是这个版本推理能力更强的原因。MPO 用约 300 万条高质量多模态推理偏好数据(MMPR 数据集)对模型做对齐,把训练目标拆成三部分:

  • 偏好损失(DPO):学会"哪条回答更好";
  • 质量损失(BCO):学会判断回答的绝对质量高低;
  • 生成损失(SFT):学会把优质回答完整生成出来。

三者加权组合,使模型在数学、OCR、幻觉抑制等能力上普遍优于未做 MPO 的基线。官方评测中,InternVL2_5-38B-MPO 的综合均分(Avg.)达 75.5,超过同尺寸的 InternVL2_5-78B(75.2)。(详见 README.md 的 Evaluation 部分。)

AWQ 量化:38B 模型如何"瘦身"落地

本仓库是 MPO 版本的 AWQ 量化版,语言主干的量化配置定义在 config.json 的 quantization_config 中:

{
  "bits": 4,
  "group_size": 128,
  "quant_method": "awq",
  "version": "gemm",
  "zero_point": true
}
  • 4-bit 量化:权重从 16 位压缩到 4 位,显存占用降至约 1/4;
  • group_size = 128:每 128 个权重共享一组量化参数,精度损失更小;
  • AWQ(Activation-aware Weight Quantization):根据激活值感知地保护重要权重通道,量化后精度损失远小于朴素截断。

量化后模型可轻松用 LMDeploy(Turbomind 引擎 + 张量并行)在消费级多卡上部署,官方给出了单图、多图、批量提示与多轮对话等完整示例,均可参考 README.md 的 Deployment 章节。

快速上手:最简部署步骤

🚀 三步跑起来(以 LMDeploy 为例):

  1. 安装依赖:pip install lmdeploy>=0.6.4
  2. 加载模型并推理:
from lmdeploy import pipeline, TurbomindEngineConfig
from lmdeploy.vl import load_image

pipe = pipeline('OpenGVLab/InternVL2_5-38B-MPO-AWQ',
               backend_config=TurbomindEngineConfig(session_len=8192, tp=2))
image = load_image('tiger.jpeg')
print(pipe(('describe this image', image)).text)
  1. 需要对外提供服务时,一条命令启动 OpenAI 兼容接口:
lmdeploy serve api_server OpenGVLab/InternVL2_5-38B-MPO-AWQ --server-port 23333 --tp 2

更多多图推理、批量推理与多轮会话示例见 README.md。

核心文件速查

文件 作用
config.json 模型总配置:ViT/LLM 参数、动态分辨率开关、AWQ 量化配置
modeling_internvl_chat.py 多模态模型主体:特征提取、图文融合、对话生成
modeling_intern_vit.py InternViT 视觉编码器:patch 嵌入、QK-Norm、FlashAttention
configuration_intern_vit.py 视觉编码器配置类
configuration_internvl_chat.py 组合式配置:管理 ViT + LLM 两套子配置
conversation.py 对话模板 internvl2_5:系统提示词与角色分隔格式
added_tokens.json 图像占位 token 定义(<img>、<IMG_CONTEXT> 等)
preprocessor_config.json 图像预处理:448 裁剪、B 通道归一化均值/方差
pytorch_model.bin.index.json 16 个分片权重的映射索引

常见问题 FAQ

Q1:为什么叫 38B?不是 6B + 32B 吗? 是的,正好是视觉侧 InternViT-6B 与语言侧 Qwen2.5-32B 的参数量相加,加上约 6 个投影层参数,合计约 38B。

Q2:AWQ 量化会影响效果吗? 影响很小。AWQ 通过激活感知选择关键权重通道加以保护,相比朴素 4-bit 截断精度损失显著更低;本模型在 MPO 对齐后的强推理能力在量化后基本保留,换来的是约 1/4 的显存占用与更快推理。

Q3:动态分辨率下 token 会很多吗? max_dynamic_patch = 12 意味着一张大图最多 12 块,配合像素重排后每块仅 256 个 token,多图场景需适当调大 session_len(官方示例用 8192)。

Q4:它支持哪些任务? 对话问答、OCR 文字识别、数学推理(MathVista)、多图对比、图表理解、文档解析等;配合 <box>、<ref> 等额外 token(见 added_tokens.json)还能做目标框定位类任务。

总结

InternVL2_5-38B-MPO-AWQ 架构的精髓可以概括为三句话:

  1. ViT-MLP-LLM 三段式:InternViT-6B 看图、MLP 翻译、Qwen2.5-32B 说话,分工清晰;
  2. 动态分辨率 + 像素重排:448×448 切块自适应,token 数量随图像复杂度伸缩,细节与全局兼得;
  3. MPO + AWQ 双加持:混合偏好优化强化推理,4-bit 量化让 38B 模型真正落地可部署。

理解这套"ViT-MLP-LLM + 动态分辨率"的设计,你就能看懂 InternVL 整个家族(1B 到 78B)的架构逻辑——它们只是换用了不同规模的 ViT 与 LLM 组合而已。

登录后查看全文
InternVL2_5-38B-MPO-AWQ