InternViT 6B视觉编码器剖析:InternVL2_5-38B-AWQ的Pixel Shuffle下采样与动态分块机制

原创2026-10-18 20:39:441,904 阅读

InternViT 6B视觉编码器剖析:InternVL2_5-38B-AWQ的Pixel Shuffle下采样与动态分块机制

InternVL2_5-38B-AWQ 是书生·万象开源多模态大模型的 4-bit AWQ 量化版,其视觉端采用 InternViT 6B 编码器。本文带你快速看懂它如何用 Pixel Shuffle 下采样把视觉 token 压缩到 1/4,以及**动态分块(Dynamic Resolution)**如何把任意图片切分成 448×448 小块——在精度与显存之间找到平衡。


一、先认识 InternViT 6B:多模态模型的"眼睛"

InternVL2_5-38B 沿用了经典的 "ViT → MLP → LLM" 三段式架构:

  • ViT(InternViT 6B):负责"看图",把像素变成一组视觉特征向量;
  • MLP 投影器:把视觉特征的维度"翻译"成语言模型能懂的维度;
  • LLM(Qwen2.5-32B,AWQ 量化):负责"说话",结合视觉特征生成回答。

其中 6B 的视觉编码器是重头戏。它的关键参数如下(来自 config.json 的 vision_config):

参数 取值 通俗含义
hidden_size 3200 每个 patch 的特征维度
num_hidden_layers 45 Transformer 编码层数
num_attention_heads 25 多头注意力的头数
intermediate_size 12800 FFN 前馈中间维度
patch_size 14 图片切块大小(像素)
image_size 448 单块输入分辨率
qk_normalization True 对 Q/K 做归一化,训练更稳
norm_type rms_norm 归一化方式(RMSNorm)

💡 在 38B 这一档里,32B 的语言模型 + 6B 的视觉编码器正好凑成"38B",权重结构可参考 pytorch_model.bin.index.json:vision_model、mlp1、language_model 三部分。


二、从像素到特征:Patch Embedding

InternViT 6B 并不是逐像素理解图片,而是先把图切成小块,再给每个小块算一个向量。

核心在 modeling_intern_vit.py 的 InternVisionEmbeddings:用一个 卷积核 = 步幅 = 14 的 Conv2d 做 Patch Embedding。

以一块 448×448 的图为例:

448 ÷ 14 = 32  →  32 × 32 = 1024 个 patch
再加 1 个 CLS 全局标记  →  共 1025 个位置

为了让编码器能处理不同分辨率的输入,位置编码(Position Embedding)不是写死的,而是用**双三次插值(bicubic)**动态重采样到当前网格尺寸(见 InternVisionEmbeddings._get_pos_embed),这是后面"动态分块"能成立的基础。


三、核心机制一:Pixel Shuffle 下采样(把 token 压到 1/4)

ViT 输出的 token 数非常多(一块就有 1024 个),直接塞进语言模型会挤爆上下文、拖慢推理。InternVL 的妙招是用 Pixel Shuffle 在空间上"折叠"特征图。

实现位于 modeling_internvl_chat.py 的 pixel_shuffle 方法,配合 config.json 的 downsample_ratio: 0.5,它把 32×32 的特征网格"折叠"成 16×16:

阶段 空间尺寸 通道维度 token 数
ViT 输出 32 × 32 3200 1024
Pixel Shuffle (×0.5) 16 × 16 12800 256

原理一句话:把相邻 2×2 的 4 个 patch 特征拼接到通道维度(3200×4=12800),空间上就缩小为 1/4。信息没丢,只是从"铺得开"变成了"堆得厚",token 数量却降到 1/4。

⚠️ 一个小细节:ps_version 分 v1/v2。v1 在折叠时高度和宽度没换回去,会导致图像被转置(方向错乱);当前模型使用 v2(见 config.json),已在最后多一步 permute 修正,保证图像方向正确。这也是配置里保留 ps_version 字段的原因。


四、MLP 投影器:把视觉特征"翻译"给 LLM

Pixel Shuffle 之后,每个 token 的通道是 12800,但语言模型 Qwen2.5-32B 的隐藏维度是 5120,需要一座"桥"。这就是 modeling_internvl_chat.py 里的 mlp1 投影器:

LayerNorm(12800) → Linear(12800 → 5120) → GELU → Linear(5120 → 5120)

经过它,视觉特征就从"视觉语言"变成了"LLM 语言",可以无缝接入文本词嵌入序列。


五、核心机制二:动态分块(Dynamic Resolution)

真实世界里的图片大小参差不齐:一张风景照可能比文档截图大几倍。InternVL 的动态分块策略是:

  • 把图片按 448×448 的网格切块(force_image_size: 448);
  • 块的多少随图片尺寸自适应,范围由 min_dynamic_patch 和 max_dynamic_patch 控制;
  • 开启缩略图模式(use_thumbnail),额外生成一张降采样的"全局概览",让模型既能看全局又能看细节。

本模型的动态分块配置(config.json):

参数 取值 作用
dynamic_image_size true 启用动态分辨率
force_image_size 448 每块固定 448×448
min_dynamic_patch 1 最少 1 块
max_dynamic_patch 12 最多 12 块(3×3 网格)
use_thumbnail true 附赠全局缩略图

token 成本怎么算? 单块经过 Pixel Shuffle 后是 num_image_token = (448÷14)² × 0.5² = 32² × 0.25 = 256 个视觉 token。在 modeling_internvl_chat.py 里,prompt 中的 <image> 占位符会被替换为等量的 <IMG_CONTEXT> 标记:

分块数 视觉 token 数 适用场景
1 块 256 小图 / 低细节,最省显存
4 块 1024 中等尺寸,平衡之选
12 块 3072 大图 / 高分辨率,最精细

🎯 这套机制的精妙之处:图越大 → 块越多 → token 越多,模型按需分配注意力;小图则只花 256 个 token,不浪费算力。


六、完整数据流一图看懂

输入图片(任意尺寸)
   │
   ├─ 动态分块:切成 448×448 小块(1~12 块)+ 缩略图
   ▼
每一块 448×448
   │
   ├─ Patch Embedding (Conv2d, patch=14)  → 32×32 = 1024 个 patch (+1 CLS)
   ├─ 45 层 Transformer Encoder(InternViT 6B)
   ▼
特征 [B, 1025, 3200](含 CLS)
   │
   ├─ 去掉 CLS → [B, 1024, 3200]
   ├─ reshape 成 32×32 网格
   ├─ Pixel Shuffle (ratio=0.5) → 16×16 网格,通道 3200 → 12800
   ▼
[B, 256, 12800]   ← token 数压缩到 1/4
   │
   ├─ MLP 投影器 mlp1:LayerNorm → Linear(12800→5120) → GELU → Linear(5120→5120)
   ▼
[B, 256, 5120]   ← 每块 256 个视觉 token
   │
   ├─ 替换 prompt 中的 <IMG_CONTEXT> 占位符
   ▼
送入 Qwen2.5-32B(AWQ 4-bit)语言模型生成回答

七、关键参数速查表

把本文涉及的旋钮集中对照 config.json 与源码:

关键词 位置 值 影响
downsample_ratio config.json#L11 0.5 Pixel Shuffle 压缩比(÷4 token)
ps_version config.json#L109 v2 修正转置 bug
dynamic_image_size config.json#L12 true 启用动态分辨率
max_dynamic_patch config.json#L106 12 最多分块数
use_thumbnail config.json#L115 true 附赠缩略图
num_hidden_layers config.json#L134 45 ViT 编码层数
patch_size config.json#L137 14 切块大小
AWQ 量化 config.json#L72-L78 4-bit / group 128 降低显存占用

八、相关文件导航 📁

想深入源码?按下面这条主线读即可:


小结

InternVL2_5-38B-AWQ 的视觉端 InternViT 6B 用两个设计解决了"多模态"最核心的矛盾——看得清与算得动:

  1. Pixel Shuffle 下采样:在不动精度太多的前提下,把每块 token 压到 1/4;
  2. 动态分块 + 缩略图:按图片大小自适应分配 448×448 小块,图大看细、图小看省。

两者叠加,让 38B 的多模态大模型既能读懂高清大图,又能在量化后的显存预算里跑得动。理解了这两招,你就抓住了 InternVL 系列视觉编码器的灵魂。

登录后查看全文
InternVL2_5-38B-AWQ