10分钟跑通 InternVL2_5-38B-MPO-AWQ:LMDeploy 部署多模态大模型快速开始教程

原创2026-10-22 22:41:301,995 阅读

10分钟跑通 InternVL2_5-38B-MPO-AWQ:LMDeploy 部署多模态大模型快速开始教程

本文用 LMDeploy 快速部署开源多模态大模型 InternVL2_5-38B-MPO-AWQ,只需 10 分钟。它支持看图说话、多图问答和 OpenAI 兼容 API 调用,且已做 AWQ 4-bit 量化,两张 24GB 显卡即可跑动。全程只需装一个工具、跑一段短脚本,无需复杂调参,适合刚入门多模态大模型(MLLM)推理的新手直接抄作业 🚀

📌 它是什么:38B 多模态大模型的量化加速版

InternVL2.5-MPO 是上海 AI Lab OpenGVLab 推出的多模态大模型系列,基于 "ViT-MLP-LLM" 经典架构,并引入了 MPO(Mixed Preference Optimization,混合偏好优化) 训练方法,显著提升了推理与数学能力。

组成 内容
视觉编码器 InternViT-6B-448px-V2_5(6B 参数)
语言骨干 Qwen2.5-32B-Instruct
量化方式 AWQ 4-bit(bits=4,group_size=128)
图像输入 448×448 动态分辨率切片,最多 12 个 patch
综合得分 75.5(OpenCompass 8 项基准平均,MPO 前为 73.5)

几个关键细节,都写在仓库的 config.json 里:

  • "quantization_config" 字段表明 LLM 部分已用 AWQ 压缩到 4-bit,显存需求大幅下降;
  • "dynamic_image_size": true 表示支持动态分辨率,复杂图片会自动切成多块 448×448 输入;
  • "template": "internvl2_5" 指定了对话模板,LMDeploy 会自动套用,无需手写。

💡 一句话理解 AWQ 量化:在几乎不损失精度的前提下,把模型权重从 16-bit 压到 4-bit,让原本需要 80GB+ 显存的 38B 模型,用双卡 24GB 就能部署。

📁 仓库结构速览:先认识一下每个文件

clone 仓库后,你会看到下面这些文件,建议先花 30 秒扫一眼:

文件 作用
config.json 模型主配置:架构、量化参数、视觉/语言组件
modeling_internvl_chat.py InternVL 对话模型核心实现
conversation.py 对话模板与模板处理逻辑
modeling_intern_vit.py InternViT 视觉编码器实现
preprocessor_config.json 图像预处理配置(448 尺寸、归一化均值/方差)
tokenizer.json 分词器,含 <IMG_CONTEXT> 等图像特殊 token
pytorch_model-00001-of-00016.bin 权重分片之一(共 16 片)
inputs_stats.pth / outputs_stats.pth AWQ 量化所需的校准统计量

对于推理部署来说,你不需要理解这些源码,LMDeploy 会自动读取它们。

✅ 准备工作:3 样东西提前备好

1. 硬件

  • 推荐 2 张 24GB+ 显存的 NVIDIA GPU(对应示例中的 tp=2 双卡张量并行);
  • 首次运行会从模型仓库自动下载权重(约 20GB+),请保证网络畅通。

2. 安装 LMDeploy

LMDeploy 是把 VLM 推理抽象成一条简单流水线的部署工具,一条命令安装:

pip install lmdeploy>=0.6.4

3. 获取模型

git clone https://gitcode.com/OpenGVLab/InternVL2_5-38B-MPO-AWQ

也可以不 clone,直接让 LMDeploy 通过模型名 OpenGVLab/InternVL2_5-38B-MPO-AWQ 自动下载,clone 只是方便本地查看配置。

🚀 第一步:10 秒写出第一句"看图说话"

新建一个脚本,复制下面 8 行代码:

from lmdeploy import pipeline, TurbomindEngineConfig
from lmdeploy.vl import load_image

model = 'OpenGVLab/InternVL2_5-38B-MPO-AWQ'
image = load_image('tiger.jpeg')  # 本地图片路径即可
pipe = pipeline(model, backend_config=TurbomindEngineConfig(session_len=8192, tp=2))
response = pipe(('describe this image', image))
print(response.text)

运行 python demo.py,等权重下载完成后,模型就会输出对图片的文字描述 🐯

两个参数说明:

  • session_len=8192:上下文窗口大小,多图或长对话时记得调大;
  • tp=2:张量并行卡数,与你的 GPU 数量保持一致。

🖼️ 第二步:多图输入与多轮对话

多图:把图片放进一个列表,并用 IMAGE_TOKEN 给每张图编号,模型对多图的理解会更准:

from lmdeploy.vl.constants import IMAGE_TOKEN

images = [load_image('pose.jpg'), load_image('det.jpg')]
prompt = f'Image-1: {IMAGE_TOKEN}\nImage-2: {IMAGE_TOKEN}\n描述这两张图'
print(pipe((prompt, images)).text)

多轮对话:用 pipe.chat 接口,通过 session 参数传递会话上下文即可续聊:

sess = pipe.chat(('describe this image', image))
sess = pipe.chat('图中的人在做什么?', session=sess)
print(sess.response.text)

🌐 第三步:一条命令启动 OpenAI 兼容 API 服务

如果要给团队或前端应用调用,直接用 LMDeploy 的 api_server,模型立刻变成标准 OpenAI 风格服务:

lmdeploy serve api_server OpenGVLab/InternVL2_5-38B-MPO-AWQ --server-port 23333 --tp 2

然后任何支持 OpenAI 接口的客户端都能直接连上:

from openai import OpenAI

client = OpenAI(api_key='EMPTY', base_url='http://127.0.0.1:23333/v1')
response = client.chat.completions.create(
    model=client.models.list().data[0].id,
    messages=[{'role': 'user', 'content': [
        {'type': 'text', 'text': 'describe this image'},
        {'type': 'image_url', 'image_url': {'url': 'https://.../tiger.jpeg'}}
    ]}])
print(response.choices[0].message.content)

改个 base_url,你现有的 OpenAI 业务代码几乎不用动,这就是兼容接口的好处。

🛠️ 常见问题排查

现象 解决办法
首次运行报 ImportError 按终端提示安装缺失的依赖包即可(官方 README.md 有说明)
显存不足 OOM 调小 session_len,或把 tp 提到 4(需要 4 张卡)
多图时输出被截断 多图会成倍增加视觉 token,请把 session_len 调大
首跑特别慢 正常现象:在下载权重并初始化 KV Cache,第二次启动会快很多

📝 写在最后

到这里,你已经完成了 InternVL2_5-38B-MPO-AWQ 的完整链路:从了解模型构成,到单图推理、多图多轮对话,再到对外提供 OpenAI 兼容 API 服务——全程不超过 10 分钟。

接下来可以试试这些进阶玩法:调大 session_len 挑战长文档 + 多图混合输入、用 GenerationConfig 调整 temperature / top_p 观察回答风格变化,或者把它接入你的 Web 应用,做一个属于自己的多模态问答助手 ⚡

登录后查看全文
InternVL2_5-38B-MPO-AWQ