VisualPRM-8B架构拆解:InternViT、PixelShuffle与InternLM2-7B如何协同工作

原创2026-10-17 12:17:521,844 阅读

VisualPRM-8B架构拆解:InternViT、PixelShuffle与InternLM2-7B如何协同工作

VisualPRM-8B 是一个 80 亿参数的多模态过程奖励模型(Process Reward Model, PRM),由 OpenGVLab 团队基于 InternVL2.5-8B 微调而来。它的核心能力是:对多模态大模型(MLLM)生成的每一步推理过程逐步骤打分,再借助 Best-of-N 策略挑选出最优回答,从而让不同规模、不同家族的视觉大模型推理能力显著提升——甚至在 InternVL2.5-78B 上都能带来 5.9 分(七个多模态推理基准平均)的提升。

本文带你完整拆解它的三大组件:InternViT 视觉编码器、PixelShuffle 图像特征降采样、InternLM2-7B 语言模型,看它们如何协同工作。无需深厚背景,跟着读即可掌握全部关键脉络。🧩

💡 模型可通过 HuggingFace OpenGVLab/VisualPRM-8B 直接加载;本地源码仓库可通过 git clone https://gitcode.com/OpenGVLab/VisualPRM-8B 获取。


一、整体架构:一条"图像→文本→打分"流水线

先看全景。VisualPRM-8B 内部是一个标准的 ViT + 投影层 + LLM 三段式多模态架构,但它不是用来"生成回答"的,而是用来"给推理步骤打分"的:

graph LR
    A[输入图像<br>动态切分为≤12个448×448切片] --> B[InternViT-6B<br>24层, hidden 1024]
    B --> C[PixelShuffle 降采样<br>下采样率 0.5]
    C --> D[MLP 投影层<br>1024×4 → 4096]
    E[问题 + 待评估的推理步骤<br>含 <IMG_CONTEXT> 占位符] --> F[InternLM2-7B<br>32层, GQA, Dynamic NTK RoPE]
    D --> F
    F --> G[输出 + / - 概率<br>逐步聚合为总分]

对应源码中三个关键文件:

组件 源码文件 角色
视觉编码器 modeling_intern_vit.py InternViT-6B,提取图像特征
特征融合 + 奖励模型 modeling_internvl_chat.py PixelShuffle、MLP 投影、PRM 打分逻辑
语言模型 modeling_internlm2.py InternLM2-7B,理解与推理

全局超参数集中在 config.json 中,后文会对照着讲。


二、视觉端:InternViT-6B 如何"看清"图像

2.1 核心配置一览

VisualPRM-8B 的视觉塔是 InternViT-6B(model_type: intern_vit_6b),关键参数(见 config.json 的 vision_config):

参数 取值 含义
image_size 448 每个图像切片的基础尺寸
patch_size 14 图像被切成 14×14 的小块
num_hidden_layers 24 Transformer 编码器层数
hidden_size 1024 视觉特征维度
num_attention_heads 16 注意力头数

2.2 动态分辨率:一张图可以切成多张"小图"

这是 InternVL 系列最实用的设计之一。固定把图片缩成一张小图会丢失细节(比如几何题里的角度标注),所以 InternViT 采用了 dynamic resize:

  • 图像按最接近的宽高比,被动态切分成 1~12 个 448×448 的切片(max_dynamic_patch: 12、min_dynamic_patch: 1);
  • 切片数 > 1 时,还会额外追加一张 缩略图(use_thumbnail: true)用于捕捉全局信息。

这样"细节 + 全局"兼得。每个切片独立编码,产生的 <IMG_CONTEXT> 占位符数量也随之动态变化。

2.3 Patch 嵌入与位置编码

在 InternVisionEmbeddings 中:

  1. 卷积切块:用 kernel_size = stride = 14 的 Conv2d,把 448×448 图像变成 32×32 = 1024 个 patch 向量;
  2. CLS token:序列头部拼入一个可学习的 class embedding;
  3. 可插值位置编码:位置编码按 14×14 网格初始化,对任意 H×W 用 bicubic 插值适配(_get_pos_embed),因此支持动态尺寸。

随后经过 24 层 InternVisionEncoderLayer(modeling_intern_vit.py),每层包含 RMSNorm + 多头注意力(可选 FlashAttention)+ MLP,最终输出 last_hidden_state 作为图像特征。


三、桥梁:PixelShuffle 降采样 + MLP 投影

视觉塔输出 1024 维、每个切片 1024 个 token——token 太多、维度与 LLM 也不匹配。InternVLChatModel.extract_feature(modeling_internvl_chat.py)用两步完成"翻译":

3.1 PixelShuffle:256 个 token 变 64 个

pixel_shuffle 的实现与图像超分里的 PixelShuffle 思想同源:在空间上"合并"、在通道上"变宽"。

  • downsample_ratio = 0.5(config.json),即每 2×2 相邻的视觉 token 合并成 1 个;
  • 448×448 切片原本 32×32 = 1024 个 token → 降为 16×16 = 256 个;维度从 1024 → 1024×4 = 4096;
  • ps_version: "v2" 修复了 v1 版宽高未换回导致的转置问题,当前代码走 v2 分支。

📐 直观理解:把 4 个相邻"像素点"的特征拼在一起,信息总量不变,但 token 数减少为 1/4,LLM 的注意力负担大幅下降。

3.2 MLP 投影:对齐到 LLM 维度

mlp1(modeling_internvl_chat.py)结构为:

LayerNorm(4096) → Linear(4096→4096) → GELU → Linear(4096→4096)

输出维度 4096,正好等于 InternLM2-7B 的 hidden_size,从而让视觉 token 能无缝插入文本序列。


四、语言端:InternLM2-7B 的三大特性

语言模型是 internlm2_5-7b-chat 底座(config.json 的 llm_config),实现位于 modeling_internlm2.py。对新手来说,值得记住三个让推理又准又快的设计:

特性 配置/源码 通俗解释
GQA 分组查询注意力 32 个 Q 头 + 8 个 KV 头(num_key_value_heads: 8) 多个查询头共享 KV,省显存、提速,见 InternLM2Attention
Dynamic NTK RoPE rope_scaling: {type: dynamic, factor: 2.0} 位置编码随序列长度自动外推,支持 32K 上下文,见 InternLM2DynamicNTKScalingRotaryEmbedding
FlashAttention-2 attn_implementation: flash_attention_2 高效注意力内核,长序列推理显著加速

其余基本盘:32 层解码器(InternLM2DecoderLayer)、hidden 4096、中间层 14336、词表 92553(额外加入了 <IMG_CONTEXT> 等 9 个图像占位 token,见 added_tokens.json)、RMSNorm、bfloat16 精度。

图像 token 如何插入文本?

在 forward 中:先按正常方式把文本转成 embedding,再把序列中每个 <IMG_CONTEXT> 占位符(id 92546)的向量原地替换为前面提取好的视觉特征,最后整体送入 LLM。对模型而言,图像就是"夹在文本中间的一段特殊 token"。


五、从对话模型到奖励模型:PRM 打分机制

前三个部分回答"如何看懂图文",最后一块才是 VisualPRM 的灵魂:InternVLRewardModel 继承自 InternVLChatModel,把"聊天"改成了"批改作业"。📝

5.1 逐步打分:+ 与 - 的概率

核心方法 generate_steps_with_soft_score:

  1. 把回答按空行 \n\n 切成若干 推理步骤(可用 max_steps 限制步数);
  2. 把每步拼进对话模板,并在该步末尾追加占位符 +;
  3. 一次前向传播,取出每个占位符位置对 +(记为 1 分)和 -(记为 0 分) 两个 token 的 logits,softmax 后加权求和,得到该步骤的"软分数"(0~1 之间);
  4. 分数越接近 1,代表模型认为这一步越正确。

5.2 Best-of-N:挑出最优回答

select_best_response 对 N 个候选回答分别做上述打分,将各步分数平均作为整体得分,降序排序后返回最优回答(return_scores=True 时同时给出分数)。这就是 README 示例中"一道几何题、两个候选答案"能自动选出正确解的原理。

此外还提供 check_correctness:以 0.8 为阈值判断单步对错,方便定位具体哪一步出错。

🎯 应用效果:这套机制可跨模型家族、跨规模使用,配合 Best-of-N 评估,让 MLLM 的推理正确率整体抬升,且优于结果奖励模型(ORM)与自一致性(Self-Consistency)策略。


六、总结:一张表看懂协同关系

环节 组件 关键参数 源码入口
看图 InternViT-6B 448×448 / patch 14 / 24 层 / 动态切≤12 片 modeling_intern_vit.py
降采样 PixelShuffle v2 downsample_ratio: 0.5,1024→256 token/片 pixel_shuffle
对齐 MLP 投影 4096 维 → 对齐 LLM modeling_internvl_chat.py
推理 InternLM2-7B 32 层 / GQA / Dynamic NTK RoPE / 32K 上下文 modeling_internlm2.py
打分 InternVLRewardModel 每步 + / - 软分数,均值聚合 modeling_internvl_chat.py

一句话总结:InternViT 负责"看懂"(动态分辨率切片提取细节),PixelShuffle + MLP 负责"翻译"(token 压缩与维度对齐),InternLM2-7B 负责"评判"(结合图文对每个推理步骤输出对错概率)——三者接力,才让 VisualPRM-8B 成为能显著提升大模型推理上限的过程奖励模型。🚀

想继续深入,可以从 configuration_internvl_chat.py 的超参数定义和 conversation.py 的对话模板读起,它们分别解释了"模型为什么长这样"和"打分提示词如何拼装"。

登录后查看全文
VisualPRM-8B