InternVL3_5-8B-Pretrained部署指南:LMDeploy、vLLM与OpenAI兼容API服务搭建
InternVL3_5-8B-Pretrained部署指南:LMDeploy、vLLM与OpenAI兼容API服务搭建
InternVL3_5-8B-Pretrained 是开源多模态大模型 InternVL3.5 系列中的 8B 预训练版本,由 InternViT-300M 视觉编码器与 Qwen3-8B 语言模型融合而成。本文带你快速完成它的三条主流部署路线:LMDeploy 本地推理、vLLM 高吞吐部署,以及一键搭建 OpenAI 兼容 API 服务,零基础也能照做。
📦 先认识一下这个模型
| 项目 | 说明 |
|---|---|
| 视觉编码器 | InternViT-300M(约 0.3B 参数,448px 动态分辨率) |
| 语言模型 | Qwen3-8B(约 8.2B 参数) |
| 总参数量 | 约 8.5B |
| 对话模板 | internvl2_5(见 config.json) |
| 最大动态分块 | max_dynamic_patch: 12(高清细节自动切块) |
它采用 InternVL 经典的 ViT–MLP–LLM 架构,并保留了 InternVL1.5 的动态高分辨率策略:一张大图会被自动切成多个 448px 的小块分别送入视觉编码器,因此在读文档、看图表时细节捕捉能力更强。
⚠️ 新手必读:
Pretrained后缀表示该权重只完成了多模态持续预训练(CPT)阶段,适合二次训练与科研场景。日常对话、问答建议优先选择完成完整训练流程(CPT + SFT + CascadeRL)的 InternVL3.5-8B 无后缀版本,或至少选InternVL3.5-8B-Instruct。
🖥️ 部署前的环境准备
硬件要求:InternVL3.5 系列中 30B 及以下的模型都可以在单张 A100 GPU 上部署,8B 版本对显存要求很友好,消费级大显存显卡配合 8-bit 量化也能跑起来。
软件要求:
- Python 环境 + CUDA
transformers>=4.52.1(保证模型正常工作的最低版本)- 推理框架:LMDeploy 或 vLLM 二选一(均支持大多数 InternVL3.5 模型)
模型权重可通过 Hugging Face 或 ModelScope 下载,也可以直接在线拉取,无需手动 clone 仓库。
🚀 路线一:LMDeploy 本地快速推理
LMDeploy 把多模态模型的复杂推理流程封装成和纯文本大模型一样简单好用的管线,上手只需两步。
一键安装 LMDeploy
pip install lmdeploy>=0.9.1
Hello World 图像问答
from lmdeploy import pipeline, PytorchEngineConfig
from lmdeploy.vl import load_image
image = load_image('tiger.jpeg')
# 8B 版本单卡即可,tp=1;38B 设 tp=2,241B-A28B 设 tp=8
model = 'OpenGVLab/InternVL3_5-8B'
pipe = pipeline(model, backend_config=PytorchEngineConfig(session_len=32768, tp=1))
response = pipe(('describe this image', image))
print(response.text)
几行代码即可完成"图片进、回答出"的推理。多图场景只需把所有图片放进同一个列表,并建议给图片编号(Image-1: <image>)以提升多轮对话效果;多图会占用更多 token,记得适当调大 session_len。
⚡ 路线二:vLLM 高吞吐部署
vLLM 与 LMDeploy 一样是 InternVL3.5 官方推荐的部署框架,主打 PagedAttention 高吞吐、低延迟,适合需要并发服务的生产场景:
- 安装:
pip install vllm - 启动服务时指定模型路径,vLLM 会按模型自带的 config.json 自动加载
InternVLChatModel架构 - 通过其内置的 OpenAI 兼容接口调用
💡 选型建议:脚本化批处理、快速验证选 LMDeploy;高并发在线服务、追求吞吐选 vLLM。
🔌 路线三:搭建 OpenAI 兼容 API 服务
想把模型接入现有业务(ChatBox、Dify 等任意支持 OpenAI 协议的工具)?LMDeploy 一条命令就能把模型打包成 RESTful 服务:
lmdeploy serve api_server OpenGVLab/InternVL3_5-8B \
--server-port 23333 --tp 1 --backend pytorch
启动后,服务地址 http://0.0.0.0:23333/v1 即与 OpenAI 接口完全兼容。安装 openai 客户端即可调用:
pip install openai
from openai import OpenAI
client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
model=model_name,
messages=[{
'role': 'user',
'content': [
{'type': 'text', 'text': 'describe this image'},
{'type': 'image_url',
'image_url': {'url': 'https://example.com/tiger.jpeg'}},
],
}],
temperature=0.8,
top_p=0.8)
print(response)
无需重写业务代码,把原来调 GPT 的 base_url 换成本地服务地址即可无缝迁移。
🛠️ 常用配置与实用技巧
- Thinking 思考模式:将 system prompt 设置为官方的
R1_SYSTEM_PROMPT(引导模型先在<think>标签内分步推理,再给出最终答案),同时建议do_sample=True、temperature=0.6,可有效抑制重复输出,复杂推理任务表现更好。 - 8-bit 量化:显存吃紧时,在 transformers 加载参数中加
load_in_8bit=True,显存占用大约减半。 - 多 GPU 部署:加载时设置
device_map="auto",权重会自动切分到多张显卡。 - 多轮对话:调用 modeling_internvl_chat.py 中的
chat方法时传入history即可续接上下文;对话轮次模板由 conversation.py 统一管理。
❓ 常见问题排查
| 问题 | 解决思路 |
|---|---|
| 模型加载报错/行为异常 | 确认 transformers>=4.52.1 |
| 输出重复啰嗦 | 开启 Thinking 模式时设置 do_sample=True、temperature=0.6 |
| 多图推理被截断 | 调大 session_len(如 32768),并控制单图 max_num 分块数 |
| 对话效果不理想 | 检查是否误用了 Pretrained 权重,请改用 Instruct 或无后缀完整版本 |
📂 核心文件速查
| 文件 | 作用 |
|---|---|
| modeling_internvl_chat.py | 模型主体,chat/batch_chat/generate 推理入口 |
| configuration_internvl_chat.py | 模型配置类定义 |
| modeling_intern_vit.py | InternViT 视觉编码器实现 |
| conversation.py | 对话模板(prompt template)管理 |
| config.json | 模型架构配置(动态分辨率、模板等关键参数) |
| tokenizer_config.json / vocab.json | 分词器配置与词表 |
部署完成后,一条 lmdeploy serve api_server 命令,InternVL3_5-8B 就变成了你业务系统里随时可调用的多模态大脑。🎉