MM-Interleaved如何把图像压缩成视觉Token?基于CLIP ViT的视觉分词器完整教程

原创2026-10-17 10:13:551,621 阅读

MM-Interleaved如何把图像压缩成视觉Token?基于CLIP ViT的视觉分词器完整教程

📌 MM-Interleaved 是 OpenGVLab 开源的多模态交错生成模型,其核心部件 视觉分词器(Visual Tokenizer) 负责把一张图像"翻译"成 LLM 能读懂的 Visual Token(视觉Token) 序列。本教程基于仓库内真实权重文件,一步步拆解它如何用 CLIP ViT 编码器 + Perceiver Resampler 完成图像到视觉Token的压缩,并带你读懂模型权重索引与配套评测数据集。

一、3分钟认识 MM-Interleaved 仓库结构

整个仓库非常精简,只包含两大部分:

目录/文件 作用
mm_interleaved_pretrain/ 预训练模型权重(总计约 59.6GB,2659个参数张量)
assets/datasets/ 10 个多模态评测数据集的标注文件
README.md 项目说明(Apache-2.0 协议)

打开权重目录,可以看到模型按 Hugging Face 标准格式拆成了两个分片:

模型整体由四大角色组成:视觉分词器(看图)、mm_decoder(语言模型,负责推理与规划)、image_decoder(扩散式图像生成器,负责画出来)、soi_token(图像边界特殊标记)。本文聚焦第一位——视觉分词器。

二、视觉分词器全景:一张图如何变成 Visual Token

视觉Token化的完整流水线可以概括为 4 步:

图像 → ① CLIP 归一化 + 切 Patch → ② 24 层 ViT 编码器提特征 → ③ Perceiver Resampler 压缩定长 → ④ 投影 + 位置编码 → 输出 Visual Token

每一步都能在 pytorch_model.bin.index.json 的 visual_tokenizer.* 前缀键值里找到对应权重。

第1步:CLIP 归一化与 Patch 切分

图像进入 ViT 前,会先按 CLIP 的惯例做均值/方差归一化。这两个常数不是写死在代码里的,而是作为注册参数保存在权重中:

  • visual_tokenizer.clip_mean / visual_tokenizer.clip_std

归一化后,图像被切成 14×14 的小方块(Patch),通过 patch_embedding(卷积层)映射成特征向量,再拼上 class_embedding([CLS] 全局特征)和 position_embedding(位置编码)。这一步之后,一张 224×224 的图就变成了一串 256 个 patch 特征。

第2步:24 层 CLIP ViT 编码器提取语义

权重中 visual_tokenizer.encoder.vision_model.encoder.layers.0 到 layers.23 共 24 层 Transformer 编码器,正是 CLIP ViT-L/14 规格(每层包含 self_attn 的 q/k/v/out 投影 + MLP + LayerNorm)。

值得注意的是 MM-Interleaved 在编码器里额外加了一个 adapter_level_embed 层级嵌入参数——它让模型能够利用 ViT 不同深度的多层特征,是相对于原版 CLIP 的一处增强。

第3步:Perceiver Resampler 把 256 个特征"压"成定长 Token

这是整个视觉分词器最关键的一步。直接喂给 LLM 的 256 个 patch 特征太冗长、且数量随分辨率变化,因此 MM-Interleaved 借用了 BLIP-2 的 Q-Former 结构作为 Perceiver Resampler:

  • 一组可学习的 queries(查询向量)主动向 patch 特征"提问";
  • 12 层 Q-Former(perceiver_resampler.blip2qformer)中,偶数层(0/2/4/6/8/10)带有 cross-attention,让查询向量反复"采样"图像特征;
  • 最终输出一组数量固定的视觉 Token,与语言 Token 共享同一个词表空间。

这正是"图像压缩成视觉Token"的核心答案:用少量学习式查询,把变长的视觉特征蒸馏成定长的语义摘要。

第4步:投影与位置编码,输出最终 Visual Token

压缩后的 Token 还要经过收尾加工:pos_embed 与 pos_ln/pos_proj 为视觉 Token 补充位置信息,post_ln 做层归一化,最后由 visual_tokenizer.proj 投影到 LLM 的嵌入空间。配合模型级特殊标记 soi_token(图像起始/边界标记),LLM 就能明确知道"一段视觉内容从哪里开始、到哪里结束"。

三、读懂权重索引文件:59.6GB 都装了什么

pytorch_model.bin.index.json 里 total_size 为 59,651,464,324 字节,共 2659 个参数键。按前缀统计,模型构成一目了然:

权重前缀 参数量 角色
visual_tokenizer.* 1249 视觉分词器(CLIP ViT + Perceiver Resampler)
image_decoder.* 1183 扩散式图像生成解码器
mm_decoder.* 512 多模态语言模型(LLM)
text_decoder.* 6 文本输出头
soi_token / context_feat_proj 3 特殊标记与上下文特征投影

💡 小技巧:加载这么大的模型时,先读这个索引文件就知道每个参数在哪个分片,这也是 Hugging Face 大模型的标准分片加载方式(本仓库权重正是通过 huggingface_hub 上传组织的)。

四、Visual Token 能做什么?assets 下的 10 个评测集

视觉分词器产出的 Token 不只服务于"生成"。仓库的 assets/datasets/ 目录收纳了 10 组主流多模态基准,覆盖了理解、问答与描述任务,可以作为检验 Visual Token 质量的参考:

数据集 评测任务 标注文件示例
VQAv2 / OK-VQA 图像问答 v2_OpenEnded_mscoco_val2014_questions.json
TextVQA 场景文字问答 textvqa_val_questions.json
VizWiz 真实场景 VQA val.json
VisDial 视觉对话 visdial_1.0_val.json
NoCaps 零样本图像描述 nocaps_val_4500_captions.json
LC-COCO 长描述生成 coco_val_captions.jsonl
COCO(Karpathy 划分) 图文匹配/描述 coco_karpathy_val.json
Flickr30k 图文检索 test1k.token.coco_format
image2paragraph 图像生成段落 paragraphs_v1.json

这些任务的标注数据均以 COCO 格式组织,说明 MM-Interleaved 的视觉 Token 体系是面向理解-生成统一场景设计的。

五、常见问题 FAQ

Q1:为什么不能把 256 个 Patch 特征直接喂给 LLM? A:其一,256 个 Token 会挤占语言上下文;其二,数量随分辨率变化,不利于与文本 Token 统一处理。Perceiver Resampler 输出的定长视觉 Token 更紧凑、对齐性更好。

Q2:CLIP ViT 在 MM-Interleaved 里做了什么改动? A:在编码器中加入了 adapter_level_embed 层级嵌入,用于聚合 ViT 多层级特征;同时把 clip_mean、clip_std 保存为权重参数,保证预处理与训练时完全一致。

Q3:Perceiver Resampler 和 BLIP-2 的 Q-Former 是一回事吗? A:结构同源。权重路径 perceiver_resampler.blip2qformer 表明它就是复用了 BLIP-2 Q-Former 的 12 层结构(偶数层 cross-attention),在 MM-Interleaved 中专门承担"视觉Token压缩"职责。

Q4:模型一共多大?怎么分片? A:总计约 59.6GB(total_size: 59651464324 字节),拆成 pytorch_model-00001-of-00002.bin 和 pytorch_model-00002-of-00002.bin 两个分片,具体归属见 pytorch_model.bin.index.json 的 weight_map。

六、总结

回顾一下 MM-Interleaved 视觉分词器的完整链路:CLIP 归一化 → Patch 切分 → 24 层 CLIP ViT-L/14 编码 → BLIP-2 风格 Perceiver Resampler 压缩 → 投影 + 位置编码 → Visual Token。它把"看一张图"这件复杂的事,转化成了 LLM 熟悉的一个个 Token,这也是多模态交错生成模型能够"边想边画"的基础。

🎯 想动手验证?从 pytorch_model.bin.index.json 入手,对照本文的组件表逐个参数找一找,你会对"视觉Token"有全新的理解。

登录后查看全文
MM-Interleaved