视觉 Token 直降 75%:InternVL2_5-38B-MPO-AWQ 的 Pixel Shuffle 下采样设计揭秘

原创2026-10-21 20:53:141,917 阅读

视觉 Token 直降 75%:InternVL2_5-38B-MPO-AWQ 的 Pixel Shuffle 下采样设计揭秘

InternVL2_5-38B-MPO-AWQ 是 InternVL2.5-38B-MPO 多模态大模型的 4-bit AWQ 量化版本。它采用 Pixel Shuffle 视觉 Token 下采样设计,把每块 448×448 图像切片的视觉 token 从 1024 个压到 256 个,视觉 token 数量直降 75%,从而大幅降低多模态推理的显存与算力开销。这篇文章带你拆解这个设计背后的原理、源码实现和性能账本。

🤔 视觉 Token 为什么成为推理瓶颈?

多模态大模型(MLLM)的典型结构是 "ViT → MLP 投影 → LLM"。图像经过视觉编码器(ViT)后会被切成一个个 视觉 token,再送入语言模型参与注意力计算。

InternVL2_5-38B-MPO-AWQ 使用的视觉编码器是 InternViT-6B,关键参数如下(来自 config.json#L116-L145):

参数 值 含义
image_size 448 每块图像切片为 448×448 像素
patch_size 14 ViT 以 14×14 像素为最小单元
hidden_size 3200 每个 token 的特征维度

简单算一笔账:一块 448×448 切片 ÷ 14×14 patch = 32×32 = 1024 个视觉 token。而注意力机制的计算量与 token 数量的平方成正比——token 越多,LLM 侧推理越慢、越吃显存。对于高分辨率图片(会被切成多块),这个开销还会成倍放大。

所以,在不损失关键视觉信息的前提下压缩 token 数量,就成为这类模型的"必修课"。

✂️ Pixel Shuffle 下采样原理:零参数合并 4 个 Token

Pixel Shuffle(又称 pixel unshuffle / 反洗牌)是计算机视觉里的经典操作。核心思想一句话就能说清:

把空间上的 2×2 邻域"折叠"进通道维度——4 个窄 token 拼成 1 个宽 token,数量减 75%,信息总量不变。

以 InternVL2_5-38B-MPO-AWQ 的实际数值为例:

ViT 输出:32×32 个 token,每个 3200 维
              │
              ▼  每 2×2 邻域内的 4 个 token 特征向量首尾拼接
              │
下采样输出:16×16 个 token,每个 12800 维(= 3200 × 4)

这个操作不引入任何可学习参数,纯粹是张量形状的重组(reshape + permute)。真正的"取舍"交给后面的 MLP 投影层去完成——模型在训练中学会从 12800 维的宽向量里提炼出语言模型需要的信息。

🔍 源码拆解:从 ViT 到 LLM 的三步 Token 压缩

下采样逻辑集中在 modeling_internvl_chat.py 的 extract_feature 方法中(modeling_internvl_chat.py#L184-L202),完整流程只有 5 步:

步骤 操作 张量变化
① ViT 编码 前向 45 层 Transformer 编码器 448×448 → 1025 token(含 CLS)
② 丢弃 CLS vit_embeds[:, 1:, :] 1024 token
③ 还原空间形状 reshape 回 32×32 网格 (B, 32, 32, 3200)
④ Pixel Shuffle scale_factor=0.5 (B, 16, 16, 12800) → 256 token
⑤ MLP 投影 对齐到 LLM 词元维度 256 × 5120

第 ④ 步的核心代码只有寥寥数行(modeling_internvl_chat.py#L168-L182):

def pixel_shuffle(self, x, scale_factor=0.5):
    n, w, h, c = x.size()
    x = x.view(n, w, int(h * scale_factor), int(c / scale_factor))   # 行对折
    x = x.permute(0, 2, 1, 3).contiguous()
    x = x.view(n, int(h * scale_factor), int(w * scale_factor),
               int(c / (scale_factor * scale_factor)))                # 列对折
    x = x.permute(0, 2, 1, 3).contiguous()
    return x

第 ⑤ 步的 MLP 投影层 mlp1(modeling_internvl_chat.py#L78-L83)负责"信息蒸馏":

层 输入 → 输出 作用
LayerNorm 12800 → 12800 稳定拼接特征的分布
Linear 12800 → 5120 压缩到 LLM 隐藏维度(Qwen2.5-32B)
GELU + Linear 5120 → 5120 非线性变换,对齐文本 token 空间

每块图像切片最终产出多少 token,由这行配置决定(modeling_internvl_chat.py#L52):num_image_token = (448 ÷ 14)² × 0.5² = 256。

📊 性能账本:Token 减 75%,到底省了多少?

假设一张图恰好切成 1 块(448×448):

指标 无下采样 Pixel Shuffle 后 收益
视觉 token 数 1024 256 ↓ 75%
注意力计算量(∝ token²) 1024² ≈ 105 万 256² ≈ 6.5 万 约 1/16
LLM 侧 KV Cache 1024 项 256 项 ↓ 75%
序列总长度 文本 + 1024 文本 + 256 长上下文更从容

更关键的是,这 256 个 token 不是"随机抽稀",而是 2×2 空间信息完整拼接后的结果——细粒度纹理被保留在通道维度里,再由 MLP 学习筛选。所以降 token 的同时,并没有粗暴地丢弃空间细节。

🐛 细节里的功夫:ps_version v2 修复的转置陷阱

在 config.json#L109 中可以看到 "ps_version": "v2"。这不是版本号装饰,而是一个真实 bug 的修复痕迹:v1 版本的 shuffle 最后少了一次宽高交换,导致图像特征矩阵被转置(上下左右错位)。v2 补上了 permute(0, 2, 1, 3) 这一句(modeling_internvl_chat.py#L180-L181),源码中甚至保留了 v1 的告警提示。

如果你阅读其他 InternVL 衍生实现的 shuffle 代码,记得确认这一行是否存在——否则模型"看"到的是一张转置过的图。

⚙️ 动态分辨率 + AWQ 量化:另一半降本设计

Pixel Shuffle 解决"每块切片内"的 token 爆炸,另外两个配置则管"整体"成本:

  • 动态分辨率(config.json#L106-L107):min_dynamic_patch=1、max_dynamic_patch=12。图像按内容复杂度切成 1~12 块,每块固定 256 token。简单图片只用 1 块(256 token),复杂大图最多 12 块(3072 token)——token 预算始终可控。配合 use_thumbnail=true(config.json#L115),全局缩略图帮助模型把握整体布局。
  • AWQ 4-bit 量化(config.json#L72-L78):quant_method=awq、bits=4、group_size=128。语言模型权重从 16-bit 压到 4-bit,显存占用约减至原来的 1/4,与 token 下采样形成"双保险",让 38B 规模的多模态模型能跑在更少的 GPU 上。

两者叠加的效果:一条典型图文请求的视觉输入既短(token 少)又轻(权重压缩),这正是该模型可直接用 LMDeploy 等工具高效部署的基础。

📁 关键文件速查

文件 说明
modeling_internvl_chat.py 主模型,pixel_shuffle、extract_feature、mlp1 都在这里
modeling_intern_vit.py 视觉编码器 InternViT,含 patch 嵌入(modeling_intern_vit.py#L145-L149)
configuration_internvl_chat.py 下采样比例等默认配置(configuration_internvl_chat.py#L30)
config.json 实际生效的超参数:downsample_ratio=0.5、ps_version=v2、AWQ 量化参数
preprocessor_config.json 图像预处理:448 裁剪、ImageNet 均值方差归一化

总结

InternVL2_5-38B-MPO-AWQ 的视觉 Token 下采样设计可以概括为三句话:

  1. Pixel Shuffle 零参数:2×2 空间邻域折叠进通道,token 数直降 75%,注意力开销降至约 1/16;
  2. MLP 投影学取舍:12800 维宽向量压缩为 5120 维,在降 token 的同时保留细粒度空间信息;
  3. 动态切片 + AWQ 量化:token 预算随图像复杂度弹性伸缩,权重 4-bit 化,共同把推理成本压到可部署的区间。

理解这套设计,不仅有助于高效部署这个模型,也为自研多模态大模型时的 token 管理提供了经典参考。

登录后查看全文
InternVL2_5-38B-MPO-AWQ