ASM-Pretrain完全入门:OpenGVLab All-in-One多模态大模型,一个模型搞定描述与识别

原创2026-10-21 11:00:451,831 阅读

ASM-Pretrain完全入门:OpenGVLab All-in-One多模态大模型,一个模型搞定描述与识别

ASM-Pretrain 是 OpenGVLab 开源的 All-in-One 多模态大模型(All-Seeing MLLM) 预训练权重仓库。它是一个统一的视觉-语言基础模型,用一个模型同时完成图像描述(image captioning)与图像区域识别(region recognition),并具备出色的零样本(zero-shot)能力。对想入门多模态大模型的新手来说,这是理解"描述 + 识别二合一"架构的优质样本。

一、什么是 ASM-Pretrain:一个模型搞定"看图说话 + 认物"

传统视觉方案里,"描述图片"和"识别图中某个区域是什么"往往需要两个独立模型:一个做 captioning,一个做目标/区域识别。ASM 的思路是把两者统一到同一个大语言模型中:

  • ✅ 图像描述:给一张图,生成自然语言描述
  • ✅ 区域识别:指出图中某个位置/区域是什么物体,同样以文本形式输出
  • ✅ 零样本能力:无需针对具体任务再训练,直接泛化到新的识别与描述任务

根据 README.md 中的模型卡介绍,ASM 被定位为"面向开放世界全景视觉识别与理解(open-world panoptic visual recognition and understanding)的统一视觉-语言基础模型",训练于 2023 年 7 月,采用 Apache License 2.0 开源。

二、模型架构:BLIP-2 + Q-Former + Llama 三段式设计

查看 config.json 可以看到整个模型的"骨架",它由三个核心部分组成:

组件 作用 关键参数
BLIP-2 视觉编码器 把图像编码为视觉特征 39 层、hidden_size 1408、输入 224×224
Q-Former 桥接器 用 32 个查询 token 把视觉特征"翻译"给 LLM hidden_size 768、12 层
Llama 语言模型 统一输出描述与识别结果 32 层、hidden_size 4096、词表 32003

这种设计的直观理解是:

  1. 看图——BLIP-2 视觉模型先"看"懂图像,输出特征网格(output_size: [7, 7])
  2. 对齐——Q-Former 将视觉特征压缩成语言模型能消化的表示
  3. 说话——Llama 语言模型基于这些表示,统一生成"整图描述"或"区域识别"答案

此外,tokenizer_config.json 显示它使用 Llama 分词器(LlamaTokenizer),并配合视觉专用的图像占位符。

三、特殊 token:模型如何"看见"图片

在 added_tokens.json 中定义了三个多模态专用 token:

  • <img>(id 32000):图像内容起始标记
  • <ImageContent>(id 32002):填充图像特征的位置
  • </img>(id 32001):图像内容结束标记

这三件套相当于给纯文本的 Llama 开了一双"眼睛":图像特征被插入到 <img> ... </img> 之间,语言模型读到的就是一份"带图的文字",从而能对图中任意位置的内容进行描述和识别。特殊 token 的映射关系完整记录在 special_tokens_map.json 中,分词规则由 tokenizer.model 定义。

四、仓库内容速览:权重仓库包含哪些文件

这个仓库是预训练权重仓库(Model Repo),文件构成如下:

💡 提示:权重仓库只负责"提供模型",具体的推理与训练代码请结合 OpenGVLab 的 all-seeing 项目使用。

五、训练数据与评测基准

训练数据(详见 README.md):

  • AS-1B:包含大规模图像-区域-描述三元组的数据集,是区域级多模态能力的关键
  • Laion-COCO:大规模图文对数据集,奠定整图描述能力

评测基准:共 6 个基准,覆盖三大类任务:

任务类型 基准数量
图像描述(image captioning) 2 个
区域描述(region captioning) 2 个
区域识别(region recognition) 2 个

这种"描述 + 识别"双线评测,正好对应了 ASM"一个模型搞定描述与识别"的 All-in-One 定位。

六、如何使用 ASM-Pretrain

如果你想上手体验,最简路径是两步:

第 1 步:下载权重仓库

git clone https://gitcode.com/OpenGVLab/ASM-Pretrain

第 2 步:结合 all-seeing 项目代码运行

由于 UnifiedHuskyFlattenCat 是自定义架构(见 config.json),不能直接用标准 transformers 的 AutoModel 加载,需要配合 OpenGVLab all-seeing 项目的加载逻辑,将本仓库的权重与 tokenizer 文件路径传入即可。

适合人群:多模态大模型研究者、计算机视觉/NLP/机器学习方向的开发者与爱好者,用它研究图像描述、区域识别的统一建模,或基于其能力构建多模态应用。

七、总结

ASM-Pretrain 的价值可以用三句话概括:

  1. 架构清晰:BLIP-2 + Q-Former + Llama 的组合,是多模态大模型的典型范式,读这份 config.json 就相当于一堂免费的架构课
  2. 任务统一:一个模型同时覆盖图像描述与区域识别,是理解 All-in-One 多模态思路的好材料
  3. 完全开源:Apache 2.0 协议,可自由用于研究与二次开发

对新手而言,建议先从本仓库的配置文件读起,理解"视觉 → 桥接 → 语言"的信息流,再深入 all-seeing 项目体验完整推理流程——这就是通往多模态大模型世界的快速通道。🚀

登录后查看全文
ASM-Pretrain