llm-jp-4-vl-9b-mlx-4bit的Pixel Shuffle原理:视觉特征如何压缩50%喂给语言模型
llm-jp-4-vl-9b-mlx-4bit的Pixel Shuffle原理:视觉特征如何压缩50%喂给语言模型
llm-jp-4-vl-9b-mlx-4bit 是一个基于 MLX 框架的 4bit 量化多模态视觉语言模型,它用 Pixel Shuffle(像素重排)技术把视觉塔输出的特征图空间尺寸缩小 50%,从而把喂给语言模型的图像 token 从 1024 个压到 256 个——信息一点不丢,算力开销却大幅下降。本文带你用大白话看懂这套机制。
为什么视觉 token 需要先"瘦身"?
多模态大模型的典型结构是:视觉编码器(Vision Tower)看图 → 产出一串视觉特征向量 → 拼进语言模型(LLM)一起推理。
问题在于:图看得越细,token 就越多。以本模型为例:
- 输入图像被统一缩放到 512×512 像素
- 视觉塔 SigLIP2 的 patch 大小为 16×16,因此 512×512 的图会被切成 32×32 = 1024 个 patch
- 每个 patch 对应一个 1152 维的特征向量
也就是说,每张图默认就要占 1024 个语言模型 token 的位置。如果一张对话里塞几张高清大图,上下文窗口瞬间被吃光,注意力算力和显存也会成倍上涨。
💡 所以视觉 token 在"喂"给 LLM 之前,需要一个既保留信息又缩短序列的手段。llm-jp-4-vl-9b-mlx-4bit 选的答案就是 Pixel Shuffle。
Pixel Shuffle 原理:重排数据,而不是丢弃数据
Pixel Shuffle 最早来自超分辨率领域。核心思想一句话:不删数据,只换排法——把"铺得开的特征"收拢成"更稠密的特征"。
从 32×32 网格变成 16×16 网格
把视觉塔输出的 1024 个特征想象成一张 32 行 × 32 列、每个格子 1152 维的"特征网格"。Pixel Shuffle 以 scale_factor=0.5 操作时:
- 空间维度减半:每 2×2 相邻的 4 个格子合并成 1 个格子,网格从 32×32 变成 16×16
- 通道维度×4:合并进来的 4 个特征向量首尾拼接,每个新格子的维度从 1152 变成 1152×4 = 4608
| 项目 | Shuffle 之前 | Shuffle 之后 |
|---|---|---|
| 特征网格 | 32×32 | 16×16 |
| token 数量 | 1024 | 256 |
| 单 token 维度 | 1152 | 4608 |
| 总信息量(1179648 维) | 不变 ✅ | 不变 ✅ |
关键就在最后一行:总数据量一分没少,只是从"1024 个瘦 token"变成了"256 个肥 token"。相邻 patch 的局部信息被捆绑在同一个 token 里,天然保留了空间上下文。
这段逻辑对应源码中的 pixel_shuffle 方法,就是几行张量 reshape + permute,没有任何可学习参数:
- 核心实现:modeling_llmjpvl.py
- 特征提取入口:modeling_llmjpvl.py
完整流水线:视觉塔 → Shuffle → MLP 投影
在 extract_feature 中,整条链路是三步走:
- SigLIP2 视觉塔:输入 512×512 图像,输出 1024 个 1152 维特征
- Pixel Shuffle:空间减半,得到 256 个 4608 维特征
- MLP 投影器(mlp1):LayerNorm → 线性层(4608→4096) → GELU → 线性层(4096→4096),把每个特征映射到语言模型的 hidden size 4096,使其能无缝融入 LLM 的 token 序列
512×512 图像
│ SigLIP2 (patch=16)
▼
1024 个特征 (32×32, 1152维)
│ Pixel Shuffle (scale=0.5)
▼
256 个特征 (16×16, 4608维)
│ MLP 投影器
▼
256 个 4096 维 token → 替换文本中的 "IMG" 占位符 → 送入 Llama 语言模型
文本侧用特殊占位符 "IMG"(token id 196608)标记图像位置,见 constants.py;forward 时会把占位符的 embedding 原地替换成视觉特征,见 modeling_llmjpvl.py。
模型配置里的关键参数
在 config.json 中可以找到驱动这套机制的所有参数:
"downsample_ratio": 0.5:即 Pixel Shuffle 的 scale_factor,决定压缩 50%"force_image_size": 512与"patch_size": 16:决定 32×32 的基础网格"img_context_token_id": 196608:图像占位符 token"num_image_token"按公式(512/16)² × 0.5² = 256计算,见 modeling_llmjpvl.py
压缩比例不是写死的,而是由 downsample_ratio 统一控制,其定义在 configuration_llmjpvl.py 中。
动态分辨率:256 只是"单块"的账
本模型还支持动态多尺度切片(dynamic patch):一张大图可以切成最多 12 块(max_dynamic_patch: 12)、最少 1 块,每块独立走一遍上述流水线,每块贡献 256 个 token,再附加一张缩略图(use_thumbnail: true)。也就是说:
- 简单的小图 → 1 块 → 256 token,省
- 细节多的大图 → 多块 → 256×N token,准
切片数量会根据可用上下文预算自动计算,见 processing_llmjpvl.py。
为什么这种方案值得注意?
🔍 对比常见的"直接降采样":很多模型用平均池化或抽样硬砍 token 数量,信息是真的丢了。Pixel Shuffle 属于无损重排——256 个 token 各自携带 4 个相邻 patch 的完整特征,LLM 通过注意力仍能"按需"读取细节。
🚀 对比性能收益:序列长度缩到 1/4,注意力开销近似降到 1/16(注意力随长度平方增长),这是它在 MLX 量化格式下依然能流畅做图像问答的底层原因之一。
快速上手
安装 mlx-vlm 后即可调用本仓库的模型:
pip install -U mlx-vlm
python -m mlx_vlm.generate --model mlx-community/llm-jp-4-vl-9b-mlx-4bit --max-tokens 100 --temperature 0.0 --prompt "Describe this image." --image <path_to_image>
生成参数(如默认 max_new_tokens: 256)见 generation_config.json。
小结
llm-jp-4-vl-9b-mlx-4bit 的视觉压缩秘诀可以浓缩成三句话:
- SigLIP2 把 512×512 图像切成 1024 个特征
- Pixel Shuffle 以 0.5 比例把网格空间维度压缩 50%,1024 个瘦 token 变成 256 个肥 token,信息量守恒
- MLP 投影到 4096 维后无缝喂给 Llama 语言模型,配合动态切片兼顾精度与效率
理解了 Pixel Shuffle,你就理解了这一代视觉语言模型"看得细、算得省"的设计精髓。