ASMv2快速上手教程:如何在10分钟内完成第一次多模态图文推理
ASMv2快速上手教程:如何在10分钟内完成第一次多模态图文推理
ASMv2 是 OpenGVLab(上海人工智能实验室)开源的 13B 多模态大模型。本文带你用约 10 分钟跑通第一次 ASMv2 多模态图文推理:从环境准备、模型下载,到看图问答、区域定位,零代码基础也能跟着做。
认识 ASMv2:一个能"看图说话"的多模态大模型 🧠
ASMv2 是一个在 LLaMA/Vicuna 基础上、用大规模多模态指令数据微调而来的开源对话模型,它不只是"能看图",还具备几项很实用的能力:
- 多模态图文问答(VQA):给它一张图片加一句自然语言问题,它用文字回答
- 关系对话能力(ReC):能理解图中物体之间的关系
- 区域定位与指代(Grounding / Referring):在区域级别任务上达到当时 SOTA,比如"图中红色杯子在哪"
- 场景图生成(Scene Graph Generation):以开放式方式生成图像的场景结构描述
当前仓库就是 ASMv2 的模型权重仓库,包含模型配置、分词器(tokenizer)和 PyTorch 权重分片,采用 Apache License 2.0 开源,可自由用于研究和二次开发。更多背景信息见仓库内的模型卡:README.md。
第一步:环境准备(约 3 分钟)⚙️
ASMv2 基于 LLaVA-Llama 架构(见 config.json),底层是 13B 参数的 Llama-2 语言模型 + CLIP ViT-L/14(336 分辨率)视觉塔,以 bfloat16 精度存储,权重约 26.7 GB(详见 pytorch_model.bin.index.json)。
硬件建议:
- 显存 ≥ 24 GB 的单卡可跑通;显存不足时可多卡部署(
device_map="auto")或量化加载 - 磁盘预留 30 GB 以上空间
软件建议:Python 3.9+、PyTorch 2.x、transformers(仓库配置基于 4.31.0,建议升级到较新的兼容版本以保证加载顺利):
pip install torch torchvision transformers
第二步:下载 ASMv2 模型权重(约 3 分钟)📦
获取模型有两种方式,任选其一:
方式一:git 克隆仓库
git clone https://gitcode.com/OpenGVLab/ASMv2
方式二:用命令行工具下载(适合大文件、断点续传)
huggingface-cli download OpenGVLab/ASMv2 --local-dir ./ASMv2
下载完成后,目录内应包含以下关键文件:
| 文件 | 作用 |
|---|---|
| config.json | 模型架构配置(LlavaLlamaForCausalLM、40 层、hidden_size 5120 等) |
| tokenizer.model、tokenizer_config.json | 分词器本体与配置(LlamaTokenizer) |
| special_tokens_map.json | 特殊 token 定义(<s>、</s>、<unk>) |
| generation_config.json | 生成参数(temperature 0.9、top_p 0.6、max_length 4096) |
| pytorch_model-00001-of-00003.bin 等 3 个分片 | 模型权重,按分片存储,合计约 26.7 GB |
| pytorch_model.bin.index.json | 权重分片索引,说明每个参数在哪个分片里 |
| trainer_state.json | 训练过程记录(2 个 epoch、15540 步,loss 降至约 0.34) |
第三步:跑通第一次多模态图文推理(约 4 分钟)🚀
模型加载与 LLaVA v1.5 的用法基本一致。下面是最短的上手代码,把 ./ASMv2 换成你的模型目录即可:
import torch
from transformers import LlavaLlamaForCausalLM, AutoTokenizer
model = LlavaLlamaForCausalLM.from_pretrained(
"./ASMv2", torch_dtype=torch.bfloat16, device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("./ASMv2", use_fast=False)
随后按 LLaVA 的对话模板组织"图片 + 问题"输入,例如提问:
Question: What is in the image?
模型会输出一段对图像内容的文字描述——恭喜,你已经完成了第一次 ASMv2 多模态图文推理!🎉
💡 提示:更完整的图像预处理与推理流程,可参考官方开源项目 all-seeing 中的推理脚本,本仓库提供的是它所使用的权重。
进阶玩法:让模型做区域定位与场景图生成 🔍
ASMv2 的特色不在基础问答,而在"区域级别"任务。你可以尝试这类提问:
- 区域定位:
Where is the red cup in the image?—— 模型会用文本框/区域描述来指代目标位置 - 指代理解:
What is the person holding?—— 结合上下文定位与回答 - 场景图生成:
Generate a scene graph for this image.—— 开放式输出"实体-关系-实体"的结构化描述 - 关系对话:连续追问图中物体之间的空间关系,模型能保持多轮一致
这些能力都来自它在约 3000 万条多模态样本上的预训练 + 400 万条指令数据微调(训练数据构成见 README.md)。
关键配置参数速查表 📋
| 参数 | 值 | 说明 |
|---|---|---|
model_type |
llava |
架构类型,见 config.json |
torch_dtype |
bfloat16 |
推荐加载精度 |
mm_vision_tower |
clip-vit-large-patch14-336 |
视觉编码器 |
max_length |
4096 | 最大上下文长度 |
temperature / top_p |
0.9 / 0.6 | 默认采样参数,见 generation_config.json |
tokenizer_class |
LlamaTokenizer |
分词器类型,见 tokenizer_config.json |
常见问题:新手最易踩的 3 个坑 ⚠️
- 显存不足(OOM):13B + bfloat16 权重约 26.7 GB,单卡 24 GB 会吃紧。解决办法:多卡部署(
device_map="auto")、改用float16,或结合量化方案加载。 - 权重下载不完整:模型分 3 个 bin 分片存储,加载时会按 pytorch_model.bin.index.json 的索引逐一读取。若加载报缺文件,请核对 3 个分片是否都下载成功。
- 加载报错或行为异常:确认
transformers版本能识别LlavaLlamaForCausalLM架构,且输入格式遵循 LLaVA v1.5 的对话模板(本模型即基于 LLaVA v1.5-13B 微调而来)。
小结
不到 10 分钟,你就完成了:环境安装 → 下载 ASMv2 权重 → 第一次多模态图文推理。接下来可以顺着"区域定位 → 场景图生成 → 关系对话"的路径,把这个开源多模态大模型玩出更多花样。