pixel_shuffle降采样全解:InternVL3-9B-Instruct视觉token减少4倍的数学原理
pixel_shuffle降采样全解:InternVL3-9B-Instruct视觉token减少4倍的数学原理
InternVL3-9B-Instruct 是书生(InternVL)系列开源多模态大语言模型。它通过 pixel_shuffle(像素打乱重排)技术,把视觉 token 数量压缩到原来的 1/4,大幅降低推理成本。本文从数学原理到源码逐行,完整拆解这一"降采样 4 倍"的巧妙设计。
为什么视觉 token 压缩如此重要
在多模态大模型(MLLM)中,图片被切成一个个小块(patch),每个小块都会变成一个视觉 token,送入语言模型参与注意力计算。这带来两个"成本炸弹":
- 注意力开销:自注意力的计算量与 token 数成 平方级 增长(O(n²))
- 显存开销:KV cache 大小与 token 数成正比,视觉 token 越多,长上下文越难撑住
InternVL3-9B-Instruct 采用动态分辨率策略:按 448×448 像素切块(tile),最多 12 块再加 1 张缩略图。如果不做任何压缩,一张图最多会产生 13 × 1024 = 13312 个视觉 token,这对 LLM 来说极其昂贵。而 pixel_shuffle 让这个数字直接变成 13 × 256 = 3328 个——这就是"视觉 token 减少 4 倍"的由来。
数学链路:从 1024 到 256 的完整推导
先看 config.json 中的三个关键参数:
| 参数 | 值 | 含义 |
|---|---|---|
image_size |
448 | 每个 tile 的边长(像素) |
patch_size |
14 | ViT 切块大小 |
downsample_ratio |
0.5 | pixel_shuffle 缩放因子 |
第一步:ViT 输出多少 token?
448 ÷ 14 = 32,即一个 tile 在宽高方向各切出 32 个 patch:
448 × 448 像素 → 32 × 32 = 1024 个 patch token
ViT(InternViT-300M,隐层维度 1024)输出的序列经重排后形状为 (N, 32, 32, 1024),其中第 0 个位置的 CLS token 会被丢弃(vit_embeds[:, 1:, :])。
第二步:token 数如何除以 4?
downsample_ratio = 0.5 意味着宽高各方向压缩一半:
1024 × (0.5)² = 1024 × 0.25 = 256 个 token
这 0.25 系数直接写进了 modeling_internvl_chat.py 第 52 行的 num_image_token 计算:
self.num_image_token = int((image_size // patch_size) ** 2 * (config.downsample_ratio ** 2))
第三步:省下的 3 个 token 去哪了?
关键在于 pixel_shuffle 不是丢弃信息,而是"打包":每个新 token 把原来 2×2 = 4 个相邻 token 的特征拼接在一起。特征维度从 1024 膨胀到 1024 × 4 = 4096,正好与 LLM 的 hidden_size(4096)对齐,随后由 MLP 投影器 mlp1 完成映射(见 modeling_internvl_chat.py 第 80-85 行)。
pixel_shuffle 源码逐行解析
核心函数只有 6 行张量操作,没有任何可训练参数(见 modeling_internvl_chat.py 第 170-184 行):
def pixel_shuffle(self, x, scale_factor=0.5):
n, w, h, c = x.size()
# N, W, H, C --> N, W, H * scale, C // scale
x = x.view(n, w, int(h * scale_factor), int(c / scale_factor))
x = x.permute(0, 2, 1, 3).contiguous()
# --> N, H * scale, W * scale, C // (scale ** 2)
x = x.view(n, int(h * scale_factor), int(w * scale_factor),
int(c / (scale_factor * scale_factor)))
if self.ps_version == 'v1':
warnings.warn("... results in a transposed image.")
else:
x = x.permute(0, 2, 1, 3).contiguous()
return x
以输入 (N, 32, 32, 1024) 为例,每一步的形状变化如下:
| 步骤 | 操作 | 张量形状 | 直觉理解 |
|---|---|---|---|
| ① | view 拆分 H 方向 |
(N, 32, 16, 2048) | 把相邻 2 行的特征拼到通道维 |
| ② | permute(0,2,1,3) |
(N, 16, 32, 2048) | 交换宽高轴,为处理 W 做准备 |
| ③ | view 拆分 W 方向 |
(N, 16, 16, 4096) | 再合并相邻 2 列,维度 ×4 |
| ④ | permute(v2 独有) |
(N, 16, 16, 4096) | 修正轴顺序,保证空间方位正确 |
最后压平为 (N, 256, 4096),送入 mlp1 投影到 LLM 空间。整个流程在 modeling_internvl_chat.py 的 extract_feature 中被调用(第 186-204 行)。
📌 值得玩味的一个细节:代码保留了
ps_version开关。v1版本漏掉了第 ④ 步的permute,导致输出的隐式图像被转置(宽高颠倒);v2修复了该问题。当前模型 config.json 中为"ps_version": "v2"。这类"纯 reshape 无参数"的操作虽然简单,却最容易踩到维度顺序的坑。
4 倍 token 削减,实际省了多少算力?
🧮 用数学算一笔账(单个 448×448 tile):
| 指标 | 压缩前 | 压缩后(×0.5) | 节省比例 |
|---|---|---|---|
| 视觉 token 数 | 1024 | 256 | ↓ 75% |
| 视觉 token 间自注意力 FLOPs | 1024² | 256² | ↓ 93.75%(1/16) |
| 视觉部分 KV cache | 1024 份 | 256 份 | ↓ 75% |
三个要点:
- 注意力是平方级受益。token 数 ÷4,但自注意力计算量 ÷16,这是 pixel_shuffle 最划算的地方
- 压缩本身零成本。
view+permute只改变张量"视角",不引入任何新参数或额外矩阵运算,属于"免费"的信息打包 - 动态分辨率因此变得可行。正因为每 tile 仅 256 token,InternVL3-9B-Instruct 才敢默认允许 12 tile + 缩略图的高分辨率输入,在保留细节的同时把总 token 控制在 LLM 可承受的范围
小结
pixel_shuffle的本质:把 2×2 邻域内 4 个 ViT patch token 的特征沿通道维拼接,token 数 ×0.25,特征维 ×4- 数学链路:
448÷14=32→32²=1024→×0.5²=256,每 tile 视觉 token 从 1024 减到 256 - 收益:注意力开销降为 1/16,KV cache 省 3/4,且压缩过程零参数、零额外计算
- 相关源码集中在 modeling_internvl_chat.py,关键配置在 config.json
理解了这条数学链路,你就掌握了 InternVL 系列"高分辨率 + 低 token 成本"设计的核心机关。
