pixel_shuffle降采样全解:InternVL3-9B-Instruct视觉token减少4倍的数学原理

原创2026-10-17 18:57:072,330 阅读

pixel_shuffle降采样全解:InternVL3-9B-Instruct视觉token减少4倍的数学原理

InternVL3-9B-Instruct 是书生(InternVL)系列开源多模态大语言模型。它通过 pixel_shuffle(像素打乱重排)技术,把视觉 token 数量压缩到原来的 1/4,大幅降低推理成本。本文从数学原理到源码逐行,完整拆解这一"降采样 4 倍"的巧妙设计。

小熊猫示例图:InternVL3-9B-Instruct 视觉 token 经 pixel_shuffle 降采样压缩的演示输入图像

为什么视觉 token 压缩如此重要

在多模态大模型(MLLM)中,图片被切成一个个小块(patch),每个小块都会变成一个视觉 token,送入语言模型参与注意力计算。这带来两个"成本炸弹":

  • 注意力开销:自注意力的计算量与 token 数成 平方级 增长(O(n²))
  • 显存开销:KV cache 大小与 token 数成正比,视觉 token 越多,长上下文越难撑住

InternVL3-9B-Instruct 采用动态分辨率策略:按 448×448 像素切块(tile),最多 12 块再加 1 张缩略图。如果不做任何压缩,一张图最多会产生 13 × 1024 = 13312 个视觉 token,这对 LLM 来说极其昂贵。而 pixel_shuffle 让这个数字直接变成 13 × 256 = 3328 个——这就是"视觉 token 减少 4 倍"的由来。

数学链路:从 1024 到 256 的完整推导

先看 config.json 中的三个关键参数:

参数 值 含义
image_size 448 每个 tile 的边长(像素)
patch_size 14 ViT 切块大小
downsample_ratio 0.5 pixel_shuffle 缩放因子

第一步:ViT 输出多少 token?

448 ÷ 14 = 32,即一个 tile 在宽高方向各切出 32 个 patch:

448 × 448 像素 → 32 × 32 = 1024 个 patch token

ViT(InternViT-300M,隐层维度 1024)输出的序列经重排后形状为 (N, 32, 32, 1024),其中第 0 个位置的 CLS token 会被丢弃(vit_embeds[:, 1:, :])。

第二步:token 数如何除以 4?

downsample_ratio = 0.5 意味着宽高各方向压缩一半:

1024 × (0.5)² = 1024 × 0.25 = 256 个 token

这 0.25 系数直接写进了 modeling_internvl_chat.py 第 52 行的 num_image_token 计算:

self.num_image_token = int((image_size // patch_size) ** 2 * (config.downsample_ratio ** 2))

第三步:省下的 3 个 token 去哪了?

关键在于 pixel_shuffle 不是丢弃信息,而是"打包":每个新 token 把原来 2×2 = 4 个相邻 token 的特征拼接在一起。特征维度从 1024 膨胀到 1024 × 4 = 4096,正好与 LLM 的 hidden_size(4096)对齐,随后由 MLP 投影器 mlp1 完成映射(见 modeling_internvl_chat.py 第 80-85 行)。

pixel_shuffle 源码逐行解析

核心函数只有 6 行张量操作,没有任何可训练参数(见 modeling_internvl_chat.py 第 170-184 行):

def pixel_shuffle(self, x, scale_factor=0.5):
    n, w, h, c = x.size()
    # N, W, H, C --> N, W, H * scale, C // scale
    x = x.view(n, w, int(h * scale_factor), int(c / scale_factor))
    x = x.permute(0, 2, 1, 3).contiguous()
    # --> N, H * scale, W * scale, C // (scale ** 2)
    x = x.view(n, int(h * scale_factor), int(w * scale_factor),
               int(c / (scale_factor * scale_factor)))
    if self.ps_version == 'v1':
        warnings.warn("... results in a transposed image.")
    else:
        x = x.permute(0, 2, 1, 3).contiguous()
    return x

以输入 (N, 32, 32, 1024) 为例,每一步的形状变化如下:

步骤 操作 张量形状 直觉理解
① view 拆分 H 方向 (N, 32, 16, 2048) 把相邻 2 行的特征拼到通道维
② permute(0,2,1,3) (N, 16, 32, 2048) 交换宽高轴,为处理 W 做准备
③ view 拆分 W 方向 (N, 16, 16, 4096) 再合并相邻 2 列,维度 ×4
④ permute(v2 独有) (N, 16, 16, 4096) 修正轴顺序,保证空间方位正确

最后压平为 (N, 256, 4096),送入 mlp1 投影到 LLM 空间。整个流程在 modeling_internvl_chat.py 的 extract_feature 中被调用(第 186-204 行)。

📌 值得玩味的一个细节:代码保留了 ps_version 开关。v1 版本漏掉了第 ④ 步的 permute,导致输出的隐式图像被转置(宽高颠倒);v2 修复了该问题。当前模型 config.json 中为 "ps_version": "v2"。这类"纯 reshape 无参数"的操作虽然简单,却最容易踩到维度顺序的坑。

4 倍 token 削减,实际省了多少算力?

🧮 用数学算一笔账(单个 448×448 tile):

指标 压缩前 压缩后(×0.5) 节省比例
视觉 token 数 1024 256 ↓ 75%
视觉 token 间自注意力 FLOPs 1024² 256² ↓ 93.75%(1/16)
视觉部分 KV cache 1024 份 256 份 ↓ 75%

三个要点:

  1. 注意力是平方级受益。token 数 ÷4,但自注意力计算量 ÷16,这是 pixel_shuffle 最划算的地方
  2. 压缩本身零成本。view + permute 只改变张量"视角",不引入任何新参数或额外矩阵运算,属于"免费"的信息打包
  3. 动态分辨率因此变得可行。正因为每 tile 仅 256 token,InternVL3-9B-Instruct 才敢默认允许 12 tile + 缩略图的高分辨率输入,在保留细节的同时把总 token 控制在 LLM 可承受的范围

小结

  • pixel_shuffle 的本质:把 2×2 邻域内 4 个 ViT patch token 的特征沿通道维拼接,token 数 ×0.25,特征维 ×4
  • 数学链路:448÷14=32 → 32²=1024 → ×0.5²=256,每 tile 视觉 token 从 1024 减到 256
  • 收益:注意力开销降为 1/16,KV cache 省 3/4,且压缩过程零参数、零额外计算
  • 相关源码集中在 modeling_internvl_chat.py,关键配置在 config.json

理解了这条数学链路,你就掌握了 InternVL 系列"高分辨率 + 低 token 成本"设计的核心机关。

登录后查看全文
InternVL3-9B-Instruct