ASMv2快速上手教程:如何在10分钟内完成第一次多模态图文推理

原创2026-10-15 21:37:041,936 阅读

ASMv2快速上手教程:如何在10分钟内完成第一次多模态图文推理

ASMv2 是 OpenGVLab(上海人工智能实验室)开源的 13B 多模态大模型。本文带你用约 10 分钟跑通第一次 ASMv2 多模态图文推理:从环境准备、模型下载,到看图问答、区域定位,零代码基础也能跟着做。

认识 ASMv2:一个能"看图说话"的多模态大模型 🧠

ASMv2 是一个在 LLaMA/Vicuna 基础上、用大规模多模态指令数据微调而来的开源对话模型,它不只是"能看图",还具备几项很实用的能力:

  • 多模态图文问答(VQA):给它一张图片加一句自然语言问题,它用文字回答
  • 关系对话能力(ReC):能理解图中物体之间的关系
  • 区域定位与指代(Grounding / Referring):在区域级别任务上达到当时 SOTA,比如"图中红色杯子在哪"
  • 场景图生成(Scene Graph Generation):以开放式方式生成图像的场景结构描述

当前仓库就是 ASMv2 的模型权重仓库,包含模型配置、分词器(tokenizer)和 PyTorch 权重分片,采用 Apache License 2.0 开源,可自由用于研究和二次开发。更多背景信息见仓库内的模型卡:README.md。

第一步:环境准备(约 3 分钟)⚙️

ASMv2 基于 LLaVA-Llama 架构(见 config.json),底层是 13B 参数的 Llama-2 语言模型 + CLIP ViT-L/14(336 分辨率)视觉塔,以 bfloat16 精度存储,权重约 26.7 GB(详见 pytorch_model.bin.index.json)。

硬件建议:

  • 显存 ≥ 24 GB 的单卡可跑通;显存不足时可多卡部署(device_map="auto")或量化加载
  • 磁盘预留 30 GB 以上空间

软件建议:Python 3.9+、PyTorch 2.x、transformers(仓库配置基于 4.31.0,建议升级到较新的兼容版本以保证加载顺利):

pip install torch torchvision transformers

第二步:下载 ASMv2 模型权重(约 3 分钟)📦

获取模型有两种方式,任选其一:

方式一:git 克隆仓库

git clone https://gitcode.com/OpenGVLab/ASMv2

方式二:用命令行工具下载(适合大文件、断点续传)

huggingface-cli download OpenGVLab/ASMv2 --local-dir ./ASMv2

下载完成后,目录内应包含以下关键文件:

文件 作用
config.json 模型架构配置(LlavaLlamaForCausalLM、40 层、hidden_size 5120 等)
tokenizer.model、tokenizer_config.json 分词器本体与配置(LlamaTokenizer)
special_tokens_map.json 特殊 token 定义(<s>、</s>、<unk>)
generation_config.json 生成参数(temperature 0.9、top_p 0.6、max_length 4096)
pytorch_model-00001-of-00003.bin 等 3 个分片 模型权重,按分片存储,合计约 26.7 GB
pytorch_model.bin.index.json 权重分片索引,说明每个参数在哪个分片里
trainer_state.json 训练过程记录(2 个 epoch、15540 步,loss 降至约 0.34)

第三步:跑通第一次多模态图文推理(约 4 分钟)🚀

模型加载与 LLaVA v1.5 的用法基本一致。下面是最短的上手代码,把 ./ASMv2 换成你的模型目录即可:

import torch
from transformers import LlavaLlamaForCausalLM, AutoTokenizer

model = LlavaLlamaForCausalLM.from_pretrained(
    "./ASMv2", torch_dtype=torch.bfloat16, device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("./ASMv2", use_fast=False)

随后按 LLaVA 的对话模板组织"图片 + 问题"输入,例如提问:

Question: What is in the image?

模型会输出一段对图像内容的文字描述——恭喜,你已经完成了第一次 ASMv2 多模态图文推理!🎉

💡 提示:更完整的图像预处理与推理流程,可参考官方开源项目 all-seeing 中的推理脚本,本仓库提供的是它所使用的权重。

进阶玩法:让模型做区域定位与场景图生成 🔍

ASMv2 的特色不在基础问答,而在"区域级别"任务。你可以尝试这类提问:

  • 区域定位:Where is the red cup in the image? —— 模型会用文本框/区域描述来指代目标位置
  • 指代理解:What is the person holding? —— 结合上下文定位与回答
  • 场景图生成:Generate a scene graph for this image. —— 开放式输出"实体-关系-实体"的结构化描述
  • 关系对话:连续追问图中物体之间的空间关系,模型能保持多轮一致

这些能力都来自它在约 3000 万条多模态样本上的预训练 + 400 万条指令数据微调(训练数据构成见 README.md)。

关键配置参数速查表 📋

参数 值 说明
model_type llava 架构类型,见 config.json
torch_dtype bfloat16 推荐加载精度
mm_vision_tower clip-vit-large-patch14-336 视觉编码器
max_length 4096 最大上下文长度
temperature / top_p 0.9 / 0.6 默认采样参数,见 generation_config.json
tokenizer_class LlamaTokenizer 分词器类型,见 tokenizer_config.json

常见问题:新手最易踩的 3 个坑 ⚠️

  1. 显存不足(OOM):13B + bfloat16 权重约 26.7 GB,单卡 24 GB 会吃紧。解决办法:多卡部署(device_map="auto")、改用 float16,或结合量化方案加载。
  2. 权重下载不完整:模型分 3 个 bin 分片存储,加载时会按 pytorch_model.bin.index.json 的索引逐一读取。若加载报缺文件,请核对 3 个分片是否都下载成功。
  3. 加载报错或行为异常:确认 transformers 版本能识别 LlavaLlamaForCausalLM 架构,且输入格式遵循 LLaVA v1.5 的对话模板(本模型即基于 LLaVA v1.5-13B 微调而来)。

小结

不到 10 分钟,你就完成了:环境安装 → 下载 ASMv2 权重 → 第一次多模态图文推理。接下来可以顺着"区域定位 → 场景图生成 → 关系对话"的路径,把这个开源多模态大模型玩出更多花样。

登录后查看全文
ASMv2