如何部署InternVL3_5-4B-Pretrained到生产环境:LMDeploy与vLLM实战(附OpenAI兼容API)
如何部署InternVL3_5-4B-Pretrained到生产环境:LMDeploy与vLLM实战(附OpenAI兼容API)
本文手把手带你完成 InternVL3_5-4B-Pretrained 多模态大模型的生产环境部署:用 LMDeploy 或 vLLM 一键拉起服务,并暴露 OpenAI 兼容 API,让现有业务代码几乎零改造即可调用这个 4B 级视觉-语言模型。
一、先认识 InternVL3_5-4B-Pretrained 🧐
InternVL3_5-4B-Pretrained 是上海 AI Lab 开源的 InternVL3.5 系列中的一员,采用经典的 ViT–MLP–LLM 架构:
| 组件 | 说明 |
|---|---|
| 视觉编码器 | InternViT-300M(448px,约 0.3B 参数) |
| 语言模型 | Qwen3-4B(约 4.4B 参数) |
| 总参数量 | 约 4.7B |
| 精度 | bfloat16,权重约 8.8GB |
| 训练阶段 | 仅完成 CPT(多模态持续预训练) |
⚠️ 新手必读:本仓库是 Pretrained(预训练)版本,只走完 CPT 阶段,尚未做指令微调。如果你的生产场景是对话/问答类服务,更推荐 InternVL3.5-4B 完整版(CPT + SFT + CascadeRL);而本版本更适合二次微调、继续预训练和定制领域适配场景。
仓库内的关键文件可以先睹为快:
- 模型总配置:config.json
- 主模型类(
InternVLChatModel):modeling_internvl_chat.py - 权重分片索引(两个 safetensors 分片):model.safetensors.index.json
- 权重文件:model-00001-of-00002.safetensors、model-00002-of-00002.safetensors
二、部署前准备:硬件与模型下载 📦
硬件要求(一张卡就够)
官方说明 30B 以下模型均可部署在单张 A100 上,4B 版本门槛更低:
| 部署方案 | 最低显存参考 |
|---|---|
| bf16 全精度 | 24GB 单卡(RTX 3090/4090、A10 均可) |
| 8-bit 量化(bnb) | 12GB 级别显卡 |
获取模型权重
如果本地没有权重文件,可以克隆仓库获取(首次使用会下载全部权重):
git clone https://gitcode.com/OpenGVLab/InternVL3_5-4B-Pretrained
或者在部署时直接填模型路径,LMDeploy / vLLM 会自动拉取到本地缓存。
依赖环境要点 ✅
- Python 环境安装
transformers>=4.52.1(官方建议版本,见 README.md 的 Quick Start 说明) - LMDeploy 方案:
pip install lmdeploy>=0.9.1 - 多模态输入需要
Pillow、torchvision等常规视觉依赖
三、方案一:LMDeploy 部署 + OpenAI 兼容 API 🚀
LMDeploy 是开源的 LLM/VLM 压缩与部署工具包,它能复杂的多模态推理流程封装成类似纯文本大模型的简单管线,一条命令即可把模型打包成 RESTful 服务,且接口与 OpenAI 官方 API 完全兼容。
第 1 步:启动推理服务
lmdeploy serve api_server OpenGVLab/InternVL3_5-4B-Pretrained \
--server-port 23333 --tp 1 --backend pytorch
参数速查:
| 参数 | 作用 | 4B 版本建议值 |
|---|---|---|
--server-port |
服务端口 | 23333(按需修改) |
--tp |
张量并行卡数 | 1(38B 用 2,241B 用 8) |
--backend |
推理后端 | pytorch(无需额外编译) |
第 2 步:用 OpenAI SDK 调用多模态对话
客户端只需安装 pip install openai,然后把 base_url 指向你的服务地址即可:
from openai import OpenAI
client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
model=model_name,
messages=[{
'role': 'user',
'content': [
{'type': 'text', 'text': 'describe this image'},
{'type': 'image_url',
'image_url': {'url': 'https://.../tiger.jpeg'}},
],
}],
temperature=0.8,
top_p=0.8)
print(response)
🎉 至此你就有了一个支持图片输入、OpenAI 兼容的生产级多模态 API 服务。
四、方案二:vLLM 部署(高吞吐场景优选)⚡
vLLM 以 PagedAttention 和高并发吞吐著称,适合请求量大、对首 token 延迟敏感的线上服务。官方同样支持用它部署 InternVL3.5 系列(见 README.md 的 Deployment 章节说明)。
pip install vllm
vllm serve OpenGVLab/InternVL3_5-4B-Pretrained \
--port 8000 --tensor-parallel-size 1 --trust-remote-code
启动后 vLLM 同样提供 OpenAI 兼容的 /v1/chat/completions 接口,客户端只需把 base_url 换成 http://你的服务器:8000/v1,调用方式与第三节完全一致,可以平滑互切。
五、LMDeploy 还是 vLLM?一张表帮你选 🔍
| 对比维度 | LMDeploy | vLLM |
|---|---|---|
| 上手难度 | ⭐ 极简,一条命令起服务 | 简单,参数略多 |
| 部署速度 | 极快 | 快 |
| 高并发吞吐 | 好 | 更优(PagedAttention) |
| 生态兼容 | 原生 OpenAI 兼容 | 原生 OpenAI 兼容 |
| 适用场景 | 快速验证、中小规模生产 | 大流量、长文本、高 QPS 生产 |
💡 官方提示:绝大多数 InternVL3.5 模型两种方案都支持;特殊 MoE 架构版本(如 GPT-OSS 基座)建议优先 vLLM。4B-Pretrained 属于标准稠密结构,任选其一即可,小团队从 LMDeploy 起步最省心。
六、生产环境调优清单 🛠️
- 上下文长度:多图输入会显著增加视觉 token 数量,请按需调大
session_len(LMDeploy 官方示例使用32768),避免截断。 - 视觉切片数:动态高分辨率策略下,单图最多切 12 块(见 config.json 中
max_dynamic_patch: 12),图片越多上下文占用越大,批量服务时建议对输入图片数量做限制。 - 量化降本:显存紧张时可用
load_in_8bit=True加载 8-bit 权重,4B 模型可进一步下探到 12GB 级显卡。 - 多卡扩展:参数规模上升时用
device_map="auto"(transformers 路线)或调大--tp(LMDeploy 路线)做张量并行。 - 版本锁定:生产环境务必固定
transformers>=4.52.1、lmdeploy>=0.9.1,避免自动代码(如 modeling_internvl_chat.py)与新框架不兼容。 - Pretrained 版本提醒:本模型未经指令微调,直接当"聊天助手"效果有限,生产对话服务请换用完整版;本版本请搭配微调(SWIFT、XTuner、官方仓库均支持)后再上线。
七、常见问题排查 ❓
| 现象 | 可能原因 | 解决办法 |
|---|---|---|
| 加载模型报架构不识别 | transformers 版本过低 | 升级到 >=4.52.1 |
| 长请求被截断 | 上下文窗口不足 | 调大 session_len / max_model_len |
| 多图问答答非所问 | 图片编号缺失 | 使用 Image-1: <image> 格式标注(见 README.md 多图示例) |
| OOM 显存不足 | bf16 权重 + KV Cache 超显存 | 8-bit 量化或增加 --tp 卡数 |
总结
部署 InternVL3_5-4B-Pretrained 到生产环境其实只需要三步:准备单卡 GPU → 用 LMDeploy 或 vLLM 一条命令起服务 → 客户端以 OpenAI SDK 接入。得益于 4.7B 的小参数量和 OpenAI 兼容 API 设计,这套多模态推理服务既能快速验证,也能稳稳扛住生产流量。选 LMDeploy 图省事,选 vLLM 图吞吐,按需微调后再上线,你的多模态应用就离生产只差一次 serve 的距离了 🎯