用LMDeploy极速部署InternVL3-9B-Instruct:Turbomind推理加速与OpenAI兼容API教程

原创2026-10-17 16:23:491,982 阅读

用LMDeploy极速部署InternVL3-9B-Instruct:Turbomind推理加速与OpenAI兼容API教程

想快速把开源多模态大模型 InternVL3-9B-Instruct 跑起来并对外提供服务?本文是一份面向新手的完整教程:使用 LMDeploy 配合 Turbomind 推理加速引擎完成极速部署,并一键启动 OpenAI 兼容 API 服务,几分钟即可上手。

认识 InternVL3-9B-Instruct 多模态大模型

InternVL3-9B-Instruct 是 OpenGVLab 开源的 InternVL3 系列多模态大语言模型(MLLM)的指令微调版本,采用经典的 "ViT-MLP-LLM" 架构:视觉编码器 InternViT 负责理解图像,MLP 投影层对齐视觉与语言特征,约 9B 参数的语言模型负责生成回答。它支持动态分辨率切块、多图输入和视频理解,擅长 OCR、图表文档解析、视觉问答与图文推理。

InternVL3-9B-Instruct 多模态大模型图文理解示例:一只趴在木板上的小熊猫

项目关键文件一览:

文件 作用
README.md 完整文档,含 LMDeploy 部署指南
modeling_internvl_chat.py 多模态对话模型实现
config.json 模型结构配置,对话模板为 internvl2_5
examples/image1.jpg 官方示例图片,可直接用于推理演示

🚀 为什么选择 LMDeploy + Turbomind 部署多模态大模型

  • Turbomind 推理引擎:针对 GPU 深度优化,吞吐高、首 token 延迟低
  • VLM 推理管线化:把复杂的多模态推理流程封装成与 LLM 一样易用的接口
  • 服务化简单:一行命令发布 OpenAI 兼容 API,直接对接现有应用
  • 硬件灵活:通过 tp(张量并行)、session_len(上下文长度)等参数适配不同显卡

📦 一键安装 LMDeploy:部署前准备

准备一台带 CUDA GPU 的机器,安装 LMDeploy:

pip install lmdeploy>=0.7.3

模型权重无需手动下载或克隆仓库,首次运行时会自动拉取。若你使用的是 lmdeploy<0.7.3,需要显式传入对话模板配置 ChatTemplateConfig(model_name='internvl2_5')。

🧪 三步完成首次推理:pipeline 极简上手

LMDeploy 把 VLM 推理抽象成一条 pipeline,核心代码如下:

from lmdeploy import pipeline, TurbomindEngineConfig, ChatTemplateConfig
from lmdeploy.vl import load_image

model = 'OpenGVLab/InternVL3-9B-Instruct'
pipe = pipeline(
    model,
    backend_config=TurbomindEngineConfig(session_len=16384, tp=1),
    chat_template_config=ChatTemplateConfig(model_name='internvl2_5'))

image = load_image('examples/image1.jpg')
response = pipe(('describe this image', image))
print(response.text)

三个关键参数:

  • session_len=16384:上下文窗口长度,多图或长对话时可继续调大
  • tp=1:张量并行卡数,多卡部署时按 GPU 数量设置
  • model_name='internvl2_5':对话模板,与 config.json 中 template 字段保持一致

若运行时报 ImportError,按提示安装缺失的依赖包即可。

🖼️ 多图与多轮对话:进阶推理技巧

多图输入:把多张图片放进一个列表并编号,模型定位更准确:

from lmdeploy.vl.constants import IMAGE_TOKEN

images = [load_image('examples/image1.jpg'), load_image('examples/image2.jpg')]
response = pipe((f'Image-1: {IMAGE_TOKEN}\nImage-2: {IMAGE_TOKEN}\ndescribe these two images', images))

多轮对话:复用 pipe.chat 接口,把上一轮返回的 sess 传入 session 参数即可保持上下文:

sess = pipe.chat(('describe this image', image))
sess = pipe.chat('What is the panda doing?', session=sess)

💡 提示:多图会显著增加输入 token 数,记得同步调大 session_len。

🌐 一键启动 OpenAI 兼容 API 服务

用 api_server 命令即可把模型打包成 RESTful 服务,接口与 OpenAI 完全兼容:

lmdeploy serve api_server OpenGVLab/InternVL3-9B-Instruct --chat-template internvl2_5 --server-port 23333 --tp 1

客户端安装 OpenAI SDK 后直接调用:

pip install openai
import base64
from openai import OpenAI

img_b64 = base64.b64encode(open('examples/image1.jpg', 'rb').read()).decode()
client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id

response = client.chat.completions.create(
    model=model_name,
    messages=[{
        'role': 'user',
        'content': [
            {'type': 'text', 'text': 'describe this image'},
            {'type': 'image_url', 'image_url': {'url': f'data:image/jpeg;base64,{img_b64}'}}
        ]
    }],
    temperature=0.8, top_p=0.8)
print(response)

图片既可传可访问的 URL,也可像上面一样转成 base64 Data URI 传入,方便对接本地文件。

💡 常见参数与排错小贴士

问题 / 场景 建议
显存不足 调小 session_len,或使用多卡 tp 并行
多图、长上下文被截断 增大 TurbomindEngineConfig 中的 session_len
报 ImportError 按终端提示安装缺失依赖
对话格式错乱 检查 --chat-template 是否为 internvl2_5
更高并发需求 部署后配合 OpenAI 客户端做批量请求

总结

通过本文流程,你已掌握 InternVL3-9B-Instruct 的极速部署路线:安装 LMDeploy → 用 pipeline 完成 Turbomind 加速推理 → 一行命令发布 OpenAI 兼容 API 服务。无论是内部图像理解应用还是对外 API 服务,这套方案都能帮你快速落地。完整文档可参阅项目 README.md。

登录后查看全文
InternVL3-9B-Instruct