MM-Interleaved如何把图像压缩成视觉Token?基于CLIP ViT的视觉分词器完整教程
MM-Interleaved如何把图像压缩成视觉Token?基于CLIP ViT的视觉分词器完整教程
📌 MM-Interleaved 是 OpenGVLab 开源的多模态交错生成模型,其核心部件 视觉分词器(Visual Tokenizer) 负责把一张图像"翻译"成 LLM 能读懂的 Visual Token(视觉Token) 序列。本教程基于仓库内真实权重文件,一步步拆解它如何用 CLIP ViT 编码器 + Perceiver Resampler 完成图像到视觉Token的压缩,并带你读懂模型权重索引与配套评测数据集。
一、3分钟认识 MM-Interleaved 仓库结构
整个仓库非常精简,只包含两大部分:
| 目录/文件 | 作用 |
|---|---|
| mm_interleaved_pretrain/ | 预训练模型权重(总计约 59.6GB,2659个参数张量) |
| assets/datasets/ | 10 个多模态评测数据集的标注文件 |
| README.md | 项目说明(Apache-2.0 协议) |
打开权重目录,可以看到模型按 Hugging Face 标准格式拆成了两个分片:
- pytorch_model-00001-of-00002.bin:视觉分词器等前部模块
- pytorch_model-00002-of-00002.bin:图像解码器等后部模块
- pytorch_model.bin.index.json:参数"户口本",记录每个参数存在哪个分片里
模型整体由四大角色组成:视觉分词器(看图)、mm_decoder(语言模型,负责推理与规划)、image_decoder(扩散式图像生成器,负责画出来)、soi_token(图像边界特殊标记)。本文聚焦第一位——视觉分词器。
二、视觉分词器全景:一张图如何变成 Visual Token
视觉Token化的完整流水线可以概括为 4 步:
图像 → ① CLIP 归一化 + 切 Patch → ② 24 层 ViT 编码器提特征 → ③ Perceiver Resampler 压缩定长 → ④ 投影 + 位置编码 → 输出 Visual Token
每一步都能在 pytorch_model.bin.index.json 的 visual_tokenizer.* 前缀键值里找到对应权重。
第1步:CLIP 归一化与 Patch 切分
图像进入 ViT 前,会先按 CLIP 的惯例做均值/方差归一化。这两个常数不是写死在代码里的,而是作为注册参数保存在权重中:
visual_tokenizer.clip_mean/visual_tokenizer.clip_std
归一化后,图像被切成 14×14 的小方块(Patch),通过 patch_embedding(卷积层)映射成特征向量,再拼上 class_embedding([CLS] 全局特征)和 position_embedding(位置编码)。这一步之后,一张 224×224 的图就变成了一串 256 个 patch 特征。
第2步:24 层 CLIP ViT 编码器提取语义
权重中 visual_tokenizer.encoder.vision_model.encoder.layers.0 到 layers.23 共 24 层 Transformer 编码器,正是 CLIP ViT-L/14 规格(每层包含 self_attn 的 q/k/v/out 投影 + MLP + LayerNorm)。
值得注意的是 MM-Interleaved 在编码器里额外加了一个 adapter_level_embed 层级嵌入参数——它让模型能够利用 ViT 不同深度的多层特征,是相对于原版 CLIP 的一处增强。
第3步:Perceiver Resampler 把 256 个特征"压"成定长 Token
这是整个视觉分词器最关键的一步。直接喂给 LLM 的 256 个 patch 特征太冗长、且数量随分辨率变化,因此 MM-Interleaved 借用了 BLIP-2 的 Q-Former 结构作为 Perceiver Resampler:
- 一组可学习的
queries(查询向量)主动向 patch 特征"提问"; - 12 层 Q-Former(
perceiver_resampler.blip2qformer)中,偶数层(0/2/4/6/8/10)带有 cross-attention,让查询向量反复"采样"图像特征; - 最终输出一组数量固定的视觉 Token,与语言 Token 共享同一个词表空间。
这正是"图像压缩成视觉Token"的核心答案:用少量学习式查询,把变长的视觉特征蒸馏成定长的语义摘要。
第4步:投影与位置编码,输出最终 Visual Token
压缩后的 Token 还要经过收尾加工:pos_embed 与 pos_ln/pos_proj 为视觉 Token 补充位置信息,post_ln 做层归一化,最后由 visual_tokenizer.proj 投影到 LLM 的嵌入空间。配合模型级特殊标记 soi_token(图像起始/边界标记),LLM 就能明确知道"一段视觉内容从哪里开始、到哪里结束"。
三、读懂权重索引文件:59.6GB 都装了什么
pytorch_model.bin.index.json 里 total_size 为 59,651,464,324 字节,共 2659 个参数键。按前缀统计,模型构成一目了然:
| 权重前缀 | 参数量 | 角色 |
|---|---|---|
visual_tokenizer.* |
1249 | 视觉分词器(CLIP ViT + Perceiver Resampler) |
image_decoder.* |
1183 | 扩散式图像生成解码器 |
mm_decoder.* |
512 | 多模态语言模型(LLM) |
text_decoder.* |
6 | 文本输出头 |
soi_token / context_feat_proj |
3 | 特殊标记与上下文特征投影 |
💡 小技巧:加载这么大的模型时,先读这个索引文件就知道每个参数在哪个分片,这也是 Hugging Face 大模型的标准分片加载方式(本仓库权重正是通过 huggingface_hub 上传组织的)。
四、Visual Token 能做什么?assets 下的 10 个评测集
视觉分词器产出的 Token 不只服务于"生成"。仓库的 assets/datasets/ 目录收纳了 10 组主流多模态基准,覆盖了理解、问答与描述任务,可以作为检验 Visual Token 质量的参考:
| 数据集 | 评测任务 | 标注文件示例 |
|---|---|---|
| VQAv2 / OK-VQA | 图像问答 | v2_OpenEnded_mscoco_val2014_questions.json |
| TextVQA | 场景文字问答 | textvqa_val_questions.json |
| VizWiz | 真实场景 VQA | val.json |
| VisDial | 视觉对话 | visdial_1.0_val.json |
| NoCaps | 零样本图像描述 | nocaps_val_4500_captions.json |
| LC-COCO | 长描述生成 | coco_val_captions.jsonl |
| COCO(Karpathy 划分) | 图文匹配/描述 | coco_karpathy_val.json |
| Flickr30k | 图文检索 | test1k.token.coco_format |
| image2paragraph | 图像生成段落 | paragraphs_v1.json |
这些任务的标注数据均以 COCO 格式组织,说明 MM-Interleaved 的视觉 Token 体系是面向理解-生成统一场景设计的。
五、常见问题 FAQ
Q1:为什么不能把 256 个 Patch 特征直接喂给 LLM? A:其一,256 个 Token 会挤占语言上下文;其二,数量随分辨率变化,不利于与文本 Token 统一处理。Perceiver Resampler 输出的定长视觉 Token 更紧凑、对齐性更好。
Q2:CLIP ViT 在 MM-Interleaved 里做了什么改动?
A:在编码器中加入了 adapter_level_embed 层级嵌入,用于聚合 ViT 多层级特征;同时把 clip_mean、clip_std 保存为权重参数,保证预处理与训练时完全一致。
Q3:Perceiver Resampler 和 BLIP-2 的 Q-Former 是一回事吗?
A:结构同源。权重路径 perceiver_resampler.blip2qformer 表明它就是复用了 BLIP-2 Q-Former 的 12 层结构(偶数层 cross-attention),在 MM-Interleaved 中专门承担"视觉Token压缩"职责。
Q4:模型一共多大?怎么分片?
A:总计约 59.6GB(total_size: 59651464324 字节),拆成 pytorch_model-00001-of-00002.bin 和 pytorch_model-00002-of-00002.bin 两个分片,具体归属见 pytorch_model.bin.index.json 的 weight_map。
六、总结
回顾一下 MM-Interleaved 视觉分词器的完整链路:CLIP 归一化 → Patch 切分 → 24 层 CLIP ViT-L/14 编码 → BLIP-2 风格 Perceiver Resampler 压缩 → 投影 + 位置编码 → Visual Token。它把"看一张图"这件复杂的事,转化成了 LLM 熟悉的一个个 Token,这也是多模态交错生成模型能够"边想边画"的基础。
🎯 想动手验证?从 pytorch_model.bin.index.json 入手,对照本文的组件表逐个参数找一找,你会对"视觉Token"有全新的理解。