InternVL2_5-38B-MPO源码剖析:从InternViT-6B到Qwen2.5-32B,ViT-MLP-LLM架构如何打通视觉与语言

原创2026-10-17 22:58:071,987 阅读

InternVL2_5-38B-MPO源码剖析:从InternViT-6B到Qwen2.5-32B,ViT-MLP-LLM架构如何打通视觉与语言

InternVL2_5-38B-MPO 是 InternVL2.5 系列经过混合偏好优化(Mixed Preference Optimization,MPO)强化推理能力后的多模态大语言模型(MLLM),整体遵循经典的 ViT-MLP-LLM 三段式架构:用 InternViT-6B 视觉编码器看懂图像,通过随机初始化的 MLP 投影器对齐语义空间,再交由 Qwen2.5-32B-Instruct 大语言模型生成回答。下面我们从配置、源码到训练目标,带你完整读懂这套架构是如何把"视觉"与"语言"打通的。

🧩 模型定位:InternVL2.5 + MPO 的 38B 版本

InternVL2.5-MPO 系列在 InternVL2.5 的基础上引入混合偏好优化,用约 300 万样本的大规模多模态推理偏好数据集 MMPR 对模型进行"再训练",重点提升数学推理、幻觉抑制和图文理解等能力。38B 版本的规格组合如下:

组件 选型 说明
视觉部分 InternViT-6B-448px-V2_5 45 层 Transformer,hidden_size 3200
桥接部分 随机初始化的 MLP 投影器 3200×4 → 5120 维对齐
语言部分 Qwen2.5-32B-Instruct 64 层,hidden_size 5120,131K 上下文

效果上,MPO 带来的提升是实打实的:在官方评测表中,38B 基座模型平均分 73.5,MPO 之后升至 75.5,其中幻觉基准 HallusionBench 从 57.9 提升到 61.5,MMVet 从 67.2 提升到 72.5。

InternVL2_5-38B-MPO多模态大模型图像理解示例图

仓库自带的示例图片 examples/image1.jpg,README 中就是用它演示"请描述这张图片"的图生文对话。

🏗️ 核心架构:ViT-MLP-LLM 三段式设计

整个模型由 modeling_internvl_chat.py 中的 InternVLChatModel 类定义,它在初始化时把三个部件组装在一起(见 modeling_internvl_chat.py):

1️⃣ 视觉编码器:InternViT-6B 负责"看懂"图像

视觉塔由 modeling_intern_vit.py 实现,核心配置在 config.json 的 vision_config 字段中:

  • 输入分辨率 448×448,patch 大小 14,一张 tile 被切成 32×32=1024 个 patch;
  • 45 层隐藏层、25 个注意力头、hidden_size 3200,属于 6B 级别的 ViT;
  • 采用 RMSNorm + QK Normalization,并开启 Flash Attention 加速推理。

2️⃣ 桥接层:Pixel Shuffle + MLP 负责"翻译"

这是打通视觉与语言最关键的一环,源码见 modeling_internvl_chat.py:

  1. Pixel Shuffle 降采样(pixel_shuffle 方法):ViT 输出的特征图按 downsample_ratio=0.5 做像素重排,视觉 token 数量直接降为原来的 1/4(1024 → 256),每个 token 却携带了 4 倍的通道信息;
  2. MLP 投影器(mlp1,见 modeling_internvl_chat.py):结构为 LayerNorm → Linear → GELU → Linear,把 12800 维的视觉特征映射到 Qwen2.5-32B 的 5120 维词嵌入空间。

这样每个 448×448 的图像 tile 只需 256 个 token 就能喂给语言模型,大幅压缩了显存和计算开销——这也是 num_image_token 在 modeling_internvl_chat.py 中的计算来源。

3️⃣ 语言模型:Qwen2.5-32B 负责"说出来"

llm_config(见 config.json)直接复用了 Qwen2.5-32B-Instruct:64 层、40 注意力头(KV 头仅 8 个,即 GQA)、bf16 精度、Flash Attention 2。前向时(forward 方法,见 modeling_internvl_chat.py),ViT 特征被直接"塞进"输入序列中 <IMG_CONTEXT> 特殊 token 的位置,与文字嵌入拼在一起进入 LLM,由语言模型统一完成注意力计算与自回归生成。

🖼️ 动态分辨率:大图切块 + 缩略图的聪明做法

InternVL 系列的一个招牌能力是动态分辨率,配置项在 config.json 中一目了然:

  • force_image_size: 448:所有 tile 统一为 448×448;
  • dynamic_image_size: true:按原图宽高比选择最接近的切块方案;
  • min_dynamic_patch: 1 / max_dynamic_patch: 12:最多切成 12 块,小图 1 块即可;
  • use_thumbnail: true:额外附加一张 448×448 整体缩略图,让模型"既见森林又见树木"。

例如一张宽幅图可能被切为 2×3=6 块 + 1 张缩略图,模型将看到 7×256=1792 个视觉 token,细节与全局信息兼得。多图与视频同理,通过 num_patches_list 记录每张图/每帧的 tile 数量,实现多图多轮对话和视频问答。

🎯 MPO:混合偏好优化如何提升推理能力

MPO 的核心洞察是:一次有效的偏好对齐应同时学到三件事——响应对的相对偏好、单条响应的绝对质量、优质量响应的生成过程。对应地,总损失为三项之和:

损失项 算法 作用
偏好损失 Lₚ DPO 学习 chosen 与 rejected 之间的相对偏好
质量损失 L_q BCO 理解单条响应的绝对质量
生成损失 L_g SFT 学会"生成"优质响应的过程

数据侧使用约 300 万样本的 MMPR 偏好数据集,通过"有标准答案"(按 Final Answer 匹配构造正负样本)与"无标准答案"(Dropout NTP:遮住图后让模型续写,无图续写更容易产生幻觉,天然劣于有图版本)两条流水线高效构造偏好对。

🚀 快速上手:加载与推理 InternVL2_5-38B-MPO

模型以 HuggingFace transformers 自定义代码(custom_code)方式发布,需要 transformers>=4.37.2 并开启 trust_remote_code=True。最小加载示例:

import torch
from transformers import AutoModel, AutoTokenizer

path = "OpenGVLab/InternVL2_5-38B-MPO"
model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    use_flash_attn=True,
    trust_remote_code=True).eval().cuda()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)

💡 显存提示:8-bit 量化(load_in_8bit=True)需要 1 张 80GB GPU;bf16 全精度至少需要 2 张 80GB GPU。官方 README 还给出了手动 device_map 切分 LLM 层的多卡方案,保证 LLM 首尾层落在同一张卡上。

调用对话接口只需把问题里的 <image> 占位符交给模型替换为视觉 token:

pixel_values = load_image('./examples/image1.jpg', max_num=12).to(torch.bfloat16).cuda()
question = '<image>\nPlease describe the image shortly.'
response = model.chat(tokenizer, pixel_values, question,
                      dict(max_new_tokens=1024, do_sample=True))
print(response)

对话模板由 conversation.py 中的 internvl2_5 模板管理;特殊视觉 token(<img>、</img>、<IMG_CONTEXT> 等)的定义见 added_tokens.json,它们被追加到 Qwen2.5 词表(151674)之后,是图文拼接的"锚点"。配置类分别位于 configuration_internvl_chat.py(整体)与 configuration_intern_vit.py(视觉塔),权重文件则为 16 个 model-000XX-of-00016.safetensors 分片。

📌 小结:这套架构值得新手学习的地方

  • 解耦式设计:ViT、MLP、LLM 各自独立可替换(系列中语言部分可换 InternLM 2.5 或 Qwen 2.5),理解任何一个组件都不需要通读全部代码;
  • Pixel Shuffle 降 token:以 1/4 的视觉 token 承载 4 倍通道信息,是多模态模型控成本的经典手法;
  • 动态切块 + 缩略图:一行 use_thumbnail 配置换来细节与全局的双保险;
  • MPO 混合目标:DPO+BCO+SFT 三损失并行的设计,展示了偏好对齐从"两两比较"到"绝对质量+生成能力"的演进思路。

顺着 modeling_internvl_chat.py 的 forward → extract_feature → pixel_shuffle → mlp1 这条主线读下来,你就能完整掌握 ViT-MLP-LLM 架构中"视觉 token 如何变成语言模型能读懂的输入"的全过程。

登录后查看全文
InternVL2_5-38B-MPO