VisualPRM-8B架构拆解:InternViT、PixelShuffle与InternLM2-7B如何协同工作
VisualPRM-8B架构拆解:InternViT、PixelShuffle与InternLM2-7B如何协同工作
VisualPRM-8B 是一个 80 亿参数的多模态过程奖励模型(Process Reward Model, PRM),由 OpenGVLab 团队基于 InternVL2.5-8B 微调而来。它的核心能力是:对多模态大模型(MLLM)生成的每一步推理过程逐步骤打分,再借助 Best-of-N 策略挑选出最优回答,从而让不同规模、不同家族的视觉大模型推理能力显著提升——甚至在 InternVL2.5-78B 上都能带来 5.9 分(七个多模态推理基准平均)的提升。
本文带你完整拆解它的三大组件:InternViT 视觉编码器、PixelShuffle 图像特征降采样、InternLM2-7B 语言模型,看它们如何协同工作。无需深厚背景,跟着读即可掌握全部关键脉络。🧩
💡 模型可通过 HuggingFace
OpenGVLab/VisualPRM-8B直接加载;本地源码仓库可通过git clone https://gitcode.com/OpenGVLab/VisualPRM-8B获取。
一、整体架构:一条"图像→文本→打分"流水线
先看全景。VisualPRM-8B 内部是一个标准的 ViT + 投影层 + LLM 三段式多模态架构,但它不是用来"生成回答"的,而是用来"给推理步骤打分"的:
graph LR
A[输入图像<br>动态切分为≤12个448×448切片] --> B[InternViT-6B<br>24层, hidden 1024]
B --> C[PixelShuffle 降采样<br>下采样率 0.5]
C --> D[MLP 投影层<br>1024×4 → 4096]
E[问题 + 待评估的推理步骤<br>含 <IMG_CONTEXT> 占位符] --> F[InternLM2-7B<br>32层, GQA, Dynamic NTK RoPE]
D --> F
F --> G[输出 + / - 概率<br>逐步聚合为总分]
对应源码中三个关键文件:
| 组件 | 源码文件 | 角色 |
|---|---|---|
| 视觉编码器 | modeling_intern_vit.py | InternViT-6B,提取图像特征 |
| 特征融合 + 奖励模型 | modeling_internvl_chat.py | PixelShuffle、MLP 投影、PRM 打分逻辑 |
| 语言模型 | modeling_internlm2.py | InternLM2-7B,理解与推理 |
全局超参数集中在 config.json 中,后文会对照着讲。
二、视觉端:InternViT-6B 如何"看清"图像
2.1 核心配置一览
VisualPRM-8B 的视觉塔是 InternViT-6B(model_type: intern_vit_6b),关键参数(见 config.json 的 vision_config):
| 参数 | 取值 | 含义 |
|---|---|---|
image_size |
448 | 每个图像切片的基础尺寸 |
patch_size |
14 | 图像被切成 14×14 的小块 |
num_hidden_layers |
24 | Transformer 编码器层数 |
hidden_size |
1024 | 视觉特征维度 |
num_attention_heads |
16 | 注意力头数 |
2.2 动态分辨率:一张图可以切成多张"小图"
这是 InternVL 系列最实用的设计之一。固定把图片缩成一张小图会丢失细节(比如几何题里的角度标注),所以 InternViT 采用了 dynamic resize:
- 图像按最接近的宽高比,被动态切分成 1~12 个 448×448 的切片(
max_dynamic_patch: 12、min_dynamic_patch: 1); - 切片数 > 1 时,还会额外追加一张 缩略图(
use_thumbnail: true)用于捕捉全局信息。
这样"细节 + 全局"兼得。每个切片独立编码,产生的 <IMG_CONTEXT> 占位符数量也随之动态变化。
2.3 Patch 嵌入与位置编码
- 卷积切块:用
kernel_size = stride = 14的 Conv2d,把 448×448 图像变成 32×32 = 1024 个 patch 向量; - CLS token:序列头部拼入一个可学习的 class embedding;
- 可插值位置编码:位置编码按 14×14 网格初始化,对任意 H×W 用 bicubic 插值适配(
_get_pos_embed),因此支持动态尺寸。
随后经过 24 层 InternVisionEncoderLayer(modeling_intern_vit.py),每层包含 RMSNorm + 多头注意力(可选 FlashAttention)+ MLP,最终输出 last_hidden_state 作为图像特征。
三、桥梁:PixelShuffle 降采样 + MLP 投影
视觉塔输出 1024 维、每个切片 1024 个 token——token 太多、维度与 LLM 也不匹配。InternVLChatModel.extract_feature(modeling_internvl_chat.py)用两步完成"翻译":
3.1 PixelShuffle:256 个 token 变 64 个
pixel_shuffle 的实现与图像超分里的 PixelShuffle 思想同源:在空间上"合并"、在通道上"变宽"。
downsample_ratio = 0.5(config.json),即每 2×2 相邻的视觉 token 合并成 1 个;- 448×448 切片原本 32×32 = 1024 个 token → 降为 16×16 = 256 个;维度从 1024 → 1024×4 = 4096;
ps_version: "v2"修复了 v1 版宽高未换回导致的转置问题,当前代码走 v2 分支。
📐 直观理解:把 4 个相邻"像素点"的特征拼在一起,信息总量不变,但 token 数减少为 1/4,LLM 的注意力负担大幅下降。
3.2 MLP 投影:对齐到 LLM 维度
mlp1(modeling_internvl_chat.py)结构为:
LayerNorm(4096) → Linear(4096→4096) → GELU → Linear(4096→4096)
输出维度 4096,正好等于 InternLM2-7B 的 hidden_size,从而让视觉 token 能无缝插入文本序列。
四、语言端:InternLM2-7B 的三大特性
语言模型是 internlm2_5-7b-chat 底座(config.json 的 llm_config),实现位于 modeling_internlm2.py。对新手来说,值得记住三个让推理又准又快的设计:
| 特性 | 配置/源码 | 通俗解释 |
|---|---|---|
| GQA 分组查询注意力 | 32 个 Q 头 + 8 个 KV 头(num_key_value_heads: 8) |
多个查询头共享 KV,省显存、提速,见 InternLM2Attention |
| Dynamic NTK RoPE | rope_scaling: {type: dynamic, factor: 2.0} |
位置编码随序列长度自动外推,支持 32K 上下文,见 InternLM2DynamicNTKScalingRotaryEmbedding |
| FlashAttention-2 | attn_implementation: flash_attention_2 |
高效注意力内核,长序列推理显著加速 |
其余基本盘:32 层解码器(InternLM2DecoderLayer)、hidden 4096、中间层 14336、词表 92553(额外加入了 <IMG_CONTEXT> 等 9 个图像占位 token,见 added_tokens.json)、RMSNorm、bfloat16 精度。
图像 token 如何插入文本?
在 forward 中:先按正常方式把文本转成 embedding,再把序列中每个 <IMG_CONTEXT> 占位符(id 92546)的向量原地替换为前面提取好的视觉特征,最后整体送入 LLM。对模型而言,图像就是"夹在文本中间的一段特殊 token"。
五、从对话模型到奖励模型:PRM 打分机制
前三个部分回答"如何看懂图文",最后一块才是 VisualPRM 的灵魂:InternVLRewardModel 继承自 InternVLChatModel,把"聊天"改成了"批改作业"。📝
5.1 逐步打分:+ 与 - 的概率
核心方法 generate_steps_with_soft_score:
- 把回答按空行
\n\n切成若干 推理步骤(可用max_steps限制步数); - 把每步拼进对话模板,并在该步末尾追加占位符
+; - 一次前向传播,取出每个占位符位置对
+(记为 1 分)和-(记为 0 分) 两个 token 的 logits,softmax 后加权求和,得到该步骤的"软分数"(0~1 之间); - 分数越接近 1,代表模型认为这一步越正确。
5.2 Best-of-N:挑出最优回答
select_best_response 对 N 个候选回答分别做上述打分,将各步分数平均作为整体得分,降序排序后返回最优回答(return_scores=True 时同时给出分数)。这就是 README 示例中"一道几何题、两个候选答案"能自动选出正确解的原理。
此外还提供 check_correctness:以 0.8 为阈值判断单步对错,方便定位具体哪一步出错。
🎯 应用效果:这套机制可跨模型家族、跨规模使用,配合 Best-of-N 评估,让 MLLM 的推理正确率整体抬升,且优于结果奖励模型(ORM)与自一致性(Self-Consistency)策略。
六、总结:一张表看懂协同关系
| 环节 | 组件 | 关键参数 | 源码入口 |
|---|---|---|---|
| 看图 | InternViT-6B | 448×448 / patch 14 / 24 层 / 动态切≤12 片 | modeling_intern_vit.py |
| 降采样 | PixelShuffle v2 | downsample_ratio: 0.5,1024→256 token/片 |
pixel_shuffle |
| 对齐 | MLP 投影 | 4096 维 → 对齐 LLM | modeling_internvl_chat.py |
| 推理 | InternLM2-7B | 32 层 / GQA / Dynamic NTK RoPE / 32K 上下文 | modeling_internlm2.py |
| 打分 | InternVLRewardModel | 每步 + / - 软分数,均值聚合 | modeling_internvl_chat.py |
一句话总结:InternViT 负责"看懂"(动态分辨率切片提取细节),PixelShuffle + MLP 负责"翻译"(token 压缩与维度对齐),InternLM2-7B 负责"评判"(结合图文对每个推理步骤输出对错概率)——三者接力,才让 VisualPRM-8B 成为能显著提升大模型推理上限的过程奖励模型。🚀
想继续深入,可以从 configuration_internvl_chat.py 的超参数定义和 conversation.py 的对话模板读起,它们分别解释了"模型为什么长这样"和"打分提示词如何拼装"。