ASM-Pretrain完全入门:OpenGVLab All-in-One多模态大模型,一个模型搞定描述与识别
ASM-Pretrain完全入门:OpenGVLab All-in-One多模态大模型,一个模型搞定描述与识别
ASM-Pretrain 是 OpenGVLab 开源的 All-in-One 多模态大模型(All-Seeing MLLM) 预训练权重仓库。它是一个统一的视觉-语言基础模型,用一个模型同时完成图像描述(image captioning)与图像区域识别(region recognition),并具备出色的零样本(zero-shot)能力。对想入门多模态大模型的新手来说,这是理解"描述 + 识别二合一"架构的优质样本。
一、什么是 ASM-Pretrain:一个模型搞定"看图说话 + 认物"
传统视觉方案里,"描述图片"和"识别图中某个区域是什么"往往需要两个独立模型:一个做 captioning,一个做目标/区域识别。ASM 的思路是把两者统一到同一个大语言模型中:
- ✅ 图像描述:给一张图,生成自然语言描述
- ✅ 区域识别:指出图中某个位置/区域是什么物体,同样以文本形式输出
- ✅ 零样本能力:无需针对具体任务再训练,直接泛化到新的识别与描述任务
根据 README.md 中的模型卡介绍,ASM 被定位为"面向开放世界全景视觉识别与理解(open-world panoptic visual recognition and understanding)的统一视觉-语言基础模型",训练于 2023 年 7 月,采用 Apache License 2.0 开源。
二、模型架构:BLIP-2 + Q-Former + Llama 三段式设计
查看 config.json 可以看到整个模型的"骨架",它由三个核心部分组成:
| 组件 | 作用 | 关键参数 |
|---|---|---|
| BLIP-2 视觉编码器 | 把图像编码为视觉特征 | 39 层、hidden_size 1408、输入 224×224 |
| Q-Former 桥接器 | 用 32 个查询 token 把视觉特征"翻译"给 LLM | hidden_size 768、12 层 |
| Llama 语言模型 | 统一输出描述与识别结果 | 32 层、hidden_size 4096、词表 32003 |
这种设计的直观理解是:
- 看图——BLIP-2 视觉模型先"看"懂图像,输出特征网格(
output_size: [7, 7]) - 对齐——Q-Former 将视觉特征压缩成语言模型能消化的表示
- 说话——Llama 语言模型基于这些表示,统一生成"整图描述"或"区域识别"答案
此外,tokenizer_config.json 显示它使用 Llama 分词器(LlamaTokenizer),并配合视觉专用的图像占位符。
三、特殊 token:模型如何"看见"图片
在 added_tokens.json 中定义了三个多模态专用 token:
<img>(id 32000):图像内容起始标记<ImageContent>(id 32002):填充图像特征的位置</img>(id 32001):图像内容结束标记
这三件套相当于给纯文本的 Llama 开了一双"眼睛":图像特征被插入到 <img> ... </img> 之间,语言模型读到的就是一份"带图的文字",从而能对图中任意位置的内容进行描述和识别。特殊 token 的映射关系完整记录在 special_tokens_map.json 中,分词规则由 tokenizer.model 定义。
四、仓库内容速览:权重仓库包含哪些文件
这个仓库是预训练权重仓库(Model Repo),文件构成如下:
- pytorch_model.bin:模型权重文件(
bfloat16精度) - config.json:模型结构配置,决定如何构建整个多模态模型
- tokenizer.model、tokenizer_config.json:分词器本体与配置
- added_tokens.json、special_tokens_map.json:多模态特殊 token 定义
- README.md:模型卡,含用途、许可与数据集信息
💡 提示:权重仓库只负责"提供模型",具体的推理与训练代码请结合 OpenGVLab 的 all-seeing 项目使用。
五、训练数据与评测基准
训练数据(详见 README.md):
- AS-1B:包含大规模图像-区域-描述三元组的数据集,是区域级多模态能力的关键
- Laion-COCO:大规模图文对数据集,奠定整图描述能力
评测基准:共 6 个基准,覆盖三大类任务:
| 任务类型 | 基准数量 |
|---|---|
| 图像描述(image captioning) | 2 个 |
| 区域描述(region captioning) | 2 个 |
| 区域识别(region recognition) | 2 个 |
这种"描述 + 识别"双线评测,正好对应了 ASM"一个模型搞定描述与识别"的 All-in-One 定位。
六、如何使用 ASM-Pretrain
如果你想上手体验,最简路径是两步:
第 1 步:下载权重仓库
git clone https://gitcode.com/OpenGVLab/ASM-Pretrain
第 2 步:结合 all-seeing 项目代码运行
由于 UnifiedHuskyFlattenCat 是自定义架构(见 config.json),不能直接用标准 transformers 的 AutoModel 加载,需要配合 OpenGVLab all-seeing 项目的加载逻辑,将本仓库的权重与 tokenizer 文件路径传入即可。
适合人群:多模态大模型研究者、计算机视觉/NLP/机器学习方向的开发者与爱好者,用它研究图像描述、区域识别的统一建模,或基于其能力构建多模态应用。
七、总结
ASM-Pretrain 的价值可以用三句话概括:
- 架构清晰:BLIP-2 + Q-Former + Llama 的组合,是多模态大模型的典型范式,读这份 config.json 就相当于一堂免费的架构课
- 任务统一:一个模型同时覆盖图像描述与区域识别,是理解 All-in-One 多模态思路的好材料
- 完全开源:Apache 2.0 协议,可自由用于研究与二次开发
对新手而言,建议先从本仓库的配置文件读起,理解"视觉 → 桥接 → 语言"的信息流,再深入 all-seeing 项目体验完整推理流程——这就是通往多模态大模型世界的快速通道。🚀