10分钟跑通 InternVL2_5-38B-MPO-AWQ:LMDeploy 部署多模态大模型快速开始教程
10分钟跑通 InternVL2_5-38B-MPO-AWQ:LMDeploy 部署多模态大模型快速开始教程
本文用 LMDeploy 快速部署开源多模态大模型 InternVL2_5-38B-MPO-AWQ,只需 10 分钟。它支持看图说话、多图问答和 OpenAI 兼容 API 调用,且已做 AWQ 4-bit 量化,两张 24GB 显卡即可跑动。全程只需装一个工具、跑一段短脚本,无需复杂调参,适合刚入门多模态大模型(MLLM)推理的新手直接抄作业 🚀
📌 它是什么:38B 多模态大模型的量化加速版
InternVL2.5-MPO 是上海 AI Lab OpenGVLab 推出的多模态大模型系列,基于 "ViT-MLP-LLM" 经典架构,并引入了 MPO(Mixed Preference Optimization,混合偏好优化) 训练方法,显著提升了推理与数学能力。
| 组成 | 内容 |
|---|---|
| 视觉编码器 | InternViT-6B-448px-V2_5(6B 参数) |
| 语言骨干 | Qwen2.5-32B-Instruct |
| 量化方式 | AWQ 4-bit(bits=4,group_size=128) |
| 图像输入 | 448×448 动态分辨率切片,最多 12 个 patch |
| 综合得分 | 75.5(OpenCompass 8 项基准平均,MPO 前为 73.5) |
几个关键细节,都写在仓库的 config.json 里:
"quantization_config"字段表明 LLM 部分已用 AWQ 压缩到 4-bit,显存需求大幅下降;"dynamic_image_size": true表示支持动态分辨率,复杂图片会自动切成多块 448×448 输入;"template": "internvl2_5"指定了对话模板,LMDeploy 会自动套用,无需手写。
💡 一句话理解 AWQ 量化:在几乎不损失精度的前提下,把模型权重从 16-bit 压到 4-bit,让原本需要 80GB+ 显存的 38B 模型,用双卡 24GB 就能部署。
📁 仓库结构速览:先认识一下每个文件
clone 仓库后,你会看到下面这些文件,建议先花 30 秒扫一眼:
| 文件 | 作用 |
|---|---|
| config.json | 模型主配置:架构、量化参数、视觉/语言组件 |
| modeling_internvl_chat.py | InternVL 对话模型核心实现 |
| conversation.py | 对话模板与模板处理逻辑 |
| modeling_intern_vit.py | InternViT 视觉编码器实现 |
| preprocessor_config.json | 图像预处理配置(448 尺寸、归一化均值/方差) |
| tokenizer.json | 分词器,含 <IMG_CONTEXT> 等图像特殊 token |
| pytorch_model-00001-of-00016.bin | 权重分片之一(共 16 片) |
| inputs_stats.pth / outputs_stats.pth | AWQ 量化所需的校准统计量 |
对于推理部署来说,你不需要理解这些源码,LMDeploy 会自动读取它们。
✅ 准备工作:3 样东西提前备好
1. 硬件
- 推荐 2 张 24GB+ 显存的 NVIDIA GPU(对应示例中的
tp=2双卡张量并行); - 首次运行会从模型仓库自动下载权重(约 20GB+),请保证网络畅通。
2. 安装 LMDeploy
LMDeploy 是把 VLM 推理抽象成一条简单流水线的部署工具,一条命令安装:
pip install lmdeploy>=0.6.4
3. 获取模型
git clone https://gitcode.com/OpenGVLab/InternVL2_5-38B-MPO-AWQ
也可以不 clone,直接让 LMDeploy 通过模型名
OpenGVLab/InternVL2_5-38B-MPO-AWQ自动下载,clone 只是方便本地查看配置。
🚀 第一步:10 秒写出第一句"看图说话"
新建一个脚本,复制下面 8 行代码:
from lmdeploy import pipeline, TurbomindEngineConfig
from lmdeploy.vl import load_image
model = 'OpenGVLab/InternVL2_5-38B-MPO-AWQ'
image = load_image('tiger.jpeg') # 本地图片路径即可
pipe = pipeline(model, backend_config=TurbomindEngineConfig(session_len=8192, tp=2))
response = pipe(('describe this image', image))
print(response.text)
运行 python demo.py,等权重下载完成后,模型就会输出对图片的文字描述 🐯
两个参数说明:
session_len=8192:上下文窗口大小,多图或长对话时记得调大;tp=2:张量并行卡数,与你的 GPU 数量保持一致。
🖼️ 第二步:多图输入与多轮对话
多图:把图片放进一个列表,并用 IMAGE_TOKEN 给每张图编号,模型对多图的理解会更准:
from lmdeploy.vl.constants import IMAGE_TOKEN
images = [load_image('pose.jpg'), load_image('det.jpg')]
prompt = f'Image-1: {IMAGE_TOKEN}\nImage-2: {IMAGE_TOKEN}\n描述这两张图'
print(pipe((prompt, images)).text)
多轮对话:用 pipe.chat 接口,通过 session 参数传递会话上下文即可续聊:
sess = pipe.chat(('describe this image', image))
sess = pipe.chat('图中的人在做什么?', session=sess)
print(sess.response.text)
🌐 第三步:一条命令启动 OpenAI 兼容 API 服务
如果要给团队或前端应用调用,直接用 LMDeploy 的 api_server,模型立刻变成标准 OpenAI 风格服务:
lmdeploy serve api_server OpenGVLab/InternVL2_5-38B-MPO-AWQ --server-port 23333 --tp 2
然后任何支持 OpenAI 接口的客户端都能直接连上:
from openai import OpenAI
client = OpenAI(api_key='EMPTY', base_url='http://127.0.0.1:23333/v1')
response = client.chat.completions.create(
model=client.models.list().data[0].id,
messages=[{'role': 'user', 'content': [
{'type': 'text', 'text': 'describe this image'},
{'type': 'image_url', 'image_url': {'url': 'https://.../tiger.jpeg'}}
]}])
print(response.choices[0].message.content)
改个 base_url,你现有的 OpenAI 业务代码几乎不用动,这就是兼容接口的好处。
🛠️ 常见问题排查
| 现象 | 解决办法 |
|---|---|
首次运行报 ImportError |
按终端提示安装缺失的依赖包即可(官方 README.md 有说明) |
| 显存不足 OOM | 调小 session_len,或把 tp 提到 4(需要 4 张卡) |
| 多图时输出被截断 | 多图会成倍增加视觉 token,请把 session_len 调大 |
| 首跑特别慢 | 正常现象:在下载权重并初始化 KV Cache,第二次启动会快很多 |
📝 写在最后
到这里,你已经完成了 InternVL2_5-38B-MPO-AWQ 的完整链路:从了解模型构成,到单图推理、多图多轮对话,再到对外提供 OpenAI 兼容 API 服务——全程不超过 10 分钟。
接下来可以试试这些进阶玩法:调大 session_len 挑战长文档 + 多图混合输入、用 GenerationConfig 调整 temperature / top_p 观察回答风格变化,或者把它接入你的 Web 应用,做一个属于自己的多模态问答助手 ⚡