InternViT 6B视觉编码器剖析:InternVL2_5-38B-AWQ的Pixel Shuffle下采样与动态分块机制
InternViT 6B视觉编码器剖析:InternVL2_5-38B-AWQ的Pixel Shuffle下采样与动态分块机制
InternVL2_5-38B-AWQ 是书生·万象开源多模态大模型的 4-bit AWQ 量化版,其视觉端采用 InternViT 6B 编码器。本文带你快速看懂它如何用 Pixel Shuffle 下采样把视觉 token 压缩到 1/4,以及**动态分块(Dynamic Resolution)**如何把任意图片切分成 448×448 小块——在精度与显存之间找到平衡。
一、先认识 InternViT 6B:多模态模型的"眼睛"
InternVL2_5-38B 沿用了经典的 "ViT → MLP → LLM" 三段式架构:
- ViT(InternViT 6B):负责"看图",把像素变成一组视觉特征向量;
- MLP 投影器:把视觉特征的维度"翻译"成语言模型能懂的维度;
- LLM(Qwen2.5-32B,AWQ 量化):负责"说话",结合视觉特征生成回答。
其中 6B 的视觉编码器是重头戏。它的关键参数如下(来自 config.json 的 vision_config):
| 参数 | 取值 | 通俗含义 |
|---|---|---|
hidden_size |
3200 | 每个 patch 的特征维度 |
num_hidden_layers |
45 | Transformer 编码层数 |
num_attention_heads |
25 | 多头注意力的头数 |
intermediate_size |
12800 | FFN 前馈中间维度 |
patch_size |
14 | 图片切块大小(像素) |
image_size |
448 | 单块输入分辨率 |
qk_normalization |
True | 对 Q/K 做归一化,训练更稳 |
norm_type |
rms_norm | 归一化方式(RMSNorm) |
💡 在 38B 这一档里,32B 的语言模型 + 6B 的视觉编码器正好凑成"38B",权重结构可参考 pytorch_model.bin.index.json:
vision_model、mlp1、language_model三部分。
二、从像素到特征:Patch Embedding
InternViT 6B 并不是逐像素理解图片,而是先把图切成小块,再给每个小块算一个向量。
核心在 modeling_intern_vit.py 的 InternVisionEmbeddings:用一个 卷积核 = 步幅 = 14 的 Conv2d 做 Patch Embedding。
以一块 448×448 的图为例:
448 ÷ 14 = 32 → 32 × 32 = 1024 个 patch
再加 1 个 CLS 全局标记 → 共 1025 个位置
为了让编码器能处理不同分辨率的输入,位置编码(Position Embedding)不是写死的,而是用**双三次插值(bicubic)**动态重采样到当前网格尺寸(见 InternVisionEmbeddings._get_pos_embed),这是后面"动态分块"能成立的基础。
三、核心机制一:Pixel Shuffle 下采样(把 token 压到 1/4)
ViT 输出的 token 数非常多(一块就有 1024 个),直接塞进语言模型会挤爆上下文、拖慢推理。InternVL 的妙招是用 Pixel Shuffle 在空间上"折叠"特征图。
实现位于 modeling_internvl_chat.py 的 pixel_shuffle 方法,配合 config.json 的 downsample_ratio: 0.5,它把 32×32 的特征网格"折叠"成 16×16:
| 阶段 | 空间尺寸 | 通道维度 | token 数 |
|---|---|---|---|
| ViT 输出 | 32 × 32 | 3200 | 1024 |
| Pixel Shuffle (×0.5) | 16 × 16 | 12800 | 256 |
原理一句话:把相邻 2×2 的 4 个 patch 特征拼接到通道维度(3200×4=12800),空间上就缩小为 1/4。信息没丢,只是从"铺得开"变成了"堆得厚",token 数量却降到 1/4。
⚠️ 一个小细节:
ps_version分 v1/v2。v1 在折叠时高度和宽度没换回去,会导致图像被转置(方向错乱);当前模型使用v2(见 config.json),已在最后多一步permute修正,保证图像方向正确。这也是配置里保留ps_version字段的原因。
四、MLP 投影器:把视觉特征"翻译"给 LLM
Pixel Shuffle 之后,每个 token 的通道是 12800,但语言模型 Qwen2.5-32B 的隐藏维度是 5120,需要一座"桥"。这就是 modeling_internvl_chat.py 里的 mlp1 投影器:
LayerNorm(12800) → Linear(12800 → 5120) → GELU → Linear(5120 → 5120)
经过它,视觉特征就从"视觉语言"变成了"LLM 语言",可以无缝接入文本词嵌入序列。
五、核心机制二:动态分块(Dynamic Resolution)
真实世界里的图片大小参差不齐:一张风景照可能比文档截图大几倍。InternVL 的动态分块策略是:
- 把图片按 448×448 的网格切块(
force_image_size: 448); - 块的多少随图片尺寸自适应,范围由
min_dynamic_patch和max_dynamic_patch控制; - 开启缩略图模式(
use_thumbnail),额外生成一张降采样的"全局概览",让模型既能看全局又能看细节。
本模型的动态分块配置(config.json):
| 参数 | 取值 | 作用 |
|---|---|---|
dynamic_image_size |
true | 启用动态分辨率 |
force_image_size |
448 | 每块固定 448×448 |
min_dynamic_patch |
1 | 最少 1 块 |
max_dynamic_patch |
12 | 最多 12 块(3×3 网格) |
use_thumbnail |
true | 附赠全局缩略图 |
token 成本怎么算? 单块经过 Pixel Shuffle 后是 num_image_token = (448÷14)² × 0.5² = 32² × 0.25 = 256 个视觉 token。在 modeling_internvl_chat.py 里,prompt 中的 <image> 占位符会被替换为等量的 <IMG_CONTEXT> 标记:
| 分块数 | 视觉 token 数 | 适用场景 |
|---|---|---|
| 1 块 | 256 | 小图 / 低细节,最省显存 |
| 4 块 | 1024 | 中等尺寸,平衡之选 |
| 12 块 | 3072 | 大图 / 高分辨率,最精细 |
🎯 这套机制的精妙之处:图越大 → 块越多 → token 越多,模型按需分配注意力;小图则只花 256 个 token,不浪费算力。
六、完整数据流一图看懂
输入图片(任意尺寸)
│
├─ 动态分块:切成 448×448 小块(1~12 块)+ 缩略图
▼
每一块 448×448
│
├─ Patch Embedding (Conv2d, patch=14) → 32×32 = 1024 个 patch (+1 CLS)
├─ 45 层 Transformer Encoder(InternViT 6B)
▼
特征 [B, 1025, 3200](含 CLS)
│
├─ 去掉 CLS → [B, 1024, 3200]
├─ reshape 成 32×32 网格
├─ Pixel Shuffle (ratio=0.5) → 16×16 网格,通道 3200 → 12800
▼
[B, 256, 12800] ← token 数压缩到 1/4
│
├─ MLP 投影器 mlp1:LayerNorm → Linear(12800→5120) → GELU → Linear(5120→5120)
▼
[B, 256, 5120] ← 每块 256 个视觉 token
│
├─ 替换 prompt 中的 <IMG_CONTEXT> 占位符
▼
送入 Qwen2.5-32B(AWQ 4-bit)语言模型生成回答
七、关键参数速查表
把本文涉及的旋钮集中对照 config.json 与源码:
| 关键词 | 位置 | 值 | 影响 |
|---|---|---|---|
downsample_ratio |
config.json#L11 | 0.5 | Pixel Shuffle 压缩比(÷4 token) |
ps_version |
config.json#L109 | v2 | 修正转置 bug |
dynamic_image_size |
config.json#L12 | true | 启用动态分辨率 |
max_dynamic_patch |
config.json#L106 | 12 | 最多分块数 |
use_thumbnail |
config.json#L115 | true | 附赠缩略图 |
num_hidden_layers |
config.json#L134 | 45 | ViT 编码层数 |
patch_size |
config.json#L137 | 14 | 切块大小 |
| AWQ 量化 | config.json#L72-L78 | 4-bit / group 128 | 降低显存占用 |
八、相关文件导航 📁
想深入源码?按下面这条主线读即可:
- 视觉编码器配置:configuration_intern_vit.py(
InternVisionConfig) - 视觉编码器模型:modeling_intern_vit.py(
InternVisionModel/InternVisionEmbeddings) - Pixel Shuffle 与特征提取:modeling_internvl_chat.py(
pixel_shuffle、extract_feature、mlp1) - 组合模型配置:configuration_internvl_chat.py(
InternVLChatConfig) - 图像预处理(448 归一化参数):preprocessor_config.json
- 对话模板(
internvl2_5):conversation.py - 完整模型配置:config.json
小结
InternVL2_5-38B-AWQ 的视觉端 InternViT 6B 用两个设计解决了"多模态"最核心的矛盾——看得清与算得动:
- Pixel Shuffle 下采样:在不动精度太多的前提下,把每块 token 压到 1/4;
- 动态分块 + 缩略图:按图片大小自适应分配 448×448 小块,图大看细、图小看省。
两者叠加,让 38B 的多模态大模型既能读懂高清大图,又能在量化后的显存预算里跑得动。理解了这两招,你就抓住了 InternVL 系列视觉编码器的灵魂。