如何部署InternVL3_5-4B-Pretrained到生产环境:LMDeploy与vLLM实战(附OpenAI兼容API)

原创2026-10-21 14:13:461,733 阅读

如何部署InternVL3_5-4B-Pretrained到生产环境:LMDeploy与vLLM实战(附OpenAI兼容API)

本文手把手带你完成 InternVL3_5-4B-Pretrained 多模态大模型的生产环境部署:用 LMDeploy 或 vLLM 一键拉起服务,并暴露 OpenAI 兼容 API,让现有业务代码几乎零改造即可调用这个 4B 级视觉-语言模型。

一、先认识 InternVL3_5-4B-Pretrained 🧐

InternVL3_5-4B-Pretrained 是上海 AI Lab 开源的 InternVL3.5 系列中的一员,采用经典的 ViT–MLP–LLM 架构:

组件 说明
视觉编码器 InternViT-300M(448px,约 0.3B 参数)
语言模型 Qwen3-4B(约 4.4B 参数)
总参数量 约 4.7B
精度 bfloat16,权重约 8.8GB
训练阶段 仅完成 CPT(多模态持续预训练)

⚠️ 新手必读:本仓库是 Pretrained(预训练)版本,只走完 CPT 阶段,尚未做指令微调。如果你的生产场景是对话/问答类服务,更推荐 InternVL3.5-4B 完整版(CPT + SFT + CascadeRL);而本版本更适合二次微调、继续预训练和定制领域适配场景。

仓库内的关键文件可以先睹为快:

二、部署前准备:硬件与模型下载 📦

硬件要求(一张卡就够)

官方说明 30B 以下模型均可部署在单张 A100 上,4B 版本门槛更低:

部署方案 最低显存参考
bf16 全精度 24GB 单卡(RTX 3090/4090、A10 均可)
8-bit 量化(bnb) 12GB 级别显卡

获取模型权重

如果本地没有权重文件,可以克隆仓库获取(首次使用会下载全部权重):

git clone https://gitcode.com/OpenGVLab/InternVL3_5-4B-Pretrained

或者在部署时直接填模型路径,LMDeploy / vLLM 会自动拉取到本地缓存。

依赖环境要点 ✅

  • Python 环境安装 transformers>=4.52.1(官方建议版本,见 README.md 的 Quick Start 说明)
  • LMDeploy 方案:pip install lmdeploy>=0.9.1
  • 多模态输入需要 Pillow、torchvision 等常规视觉依赖

三、方案一:LMDeploy 部署 + OpenAI 兼容 API 🚀

LMDeploy 是开源的 LLM/VLM 压缩与部署工具包,它能复杂的多模态推理流程封装成类似纯文本大模型的简单管线,一条命令即可把模型打包成 RESTful 服务,且接口与 OpenAI 官方 API 完全兼容。

第 1 步:启动推理服务

lmdeploy serve api_server OpenGVLab/InternVL3_5-4B-Pretrained \
    --server-port 23333 --tp 1 --backend pytorch

参数速查:

参数 作用 4B 版本建议值
--server-port 服务端口 23333(按需修改)
--tp 张量并行卡数 1(38B 用 2,241B 用 8)
--backend 推理后端 pytorch(无需额外编译)

第 2 步:用 OpenAI SDK 调用多模态对话

客户端只需安装 pip install openai,然后把 base_url 指向你的服务地址即可:

from openai import OpenAI

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id

response = client.chat.completions.create(
    model=model_name,
    messages=[{
        'role': 'user',
        'content': [
            {'type': 'text', 'text': 'describe this image'},
            {'type': 'image_url',
             'image_url': {'url': 'https://.../tiger.jpeg'}},
        ],
    }],
    temperature=0.8,
    top_p=0.8)
print(response)

🎉 至此你就有了一个支持图片输入、OpenAI 兼容的生产级多模态 API 服务。

四、方案二:vLLM 部署(高吞吐场景优选)⚡

vLLM 以 PagedAttention 和高并发吞吐著称,适合请求量大、对首 token 延迟敏感的线上服务。官方同样支持用它部署 InternVL3.5 系列(见 README.md 的 Deployment 章节说明)。

pip install vllm
vllm serve OpenGVLab/InternVL3_5-4B-Pretrained \
    --port 8000 --tensor-parallel-size 1 --trust-remote-code

启动后 vLLM 同样提供 OpenAI 兼容的 /v1/chat/completions 接口,客户端只需把 base_url 换成 http://你的服务器:8000/v1,调用方式与第三节完全一致,可以平滑互切。

五、LMDeploy 还是 vLLM?一张表帮你选 🔍

对比维度 LMDeploy vLLM
上手难度 ⭐ 极简,一条命令起服务 简单,参数略多
部署速度 极快 快
高并发吞吐 好 更优(PagedAttention)
生态兼容 原生 OpenAI 兼容 原生 OpenAI 兼容
适用场景 快速验证、中小规模生产 大流量、长文本、高 QPS 生产

💡 官方提示:绝大多数 InternVL3.5 模型两种方案都支持;特殊 MoE 架构版本(如 GPT-OSS 基座)建议优先 vLLM。4B-Pretrained 属于标准稠密结构,任选其一即可,小团队从 LMDeploy 起步最省心。

六、生产环境调优清单 🛠️

  1. 上下文长度:多图输入会显著增加视觉 token 数量,请按需调大 session_len(LMDeploy 官方示例使用 32768),避免截断。
  2. 视觉切片数:动态高分辨率策略下,单图最多切 12 块(见 config.json 中 max_dynamic_patch: 12),图片越多上下文占用越大,批量服务时建议对输入图片数量做限制。
  3. 量化降本:显存紧张时可用 load_in_8bit=True 加载 8-bit 权重,4B 模型可进一步下探到 12GB 级显卡。
  4. 多卡扩展:参数规模上升时用 device_map="auto"(transformers 路线)或调大 --tp(LMDeploy 路线)做张量并行。
  5. 版本锁定:生产环境务必固定 transformers>=4.52.1、lmdeploy>=0.9.1,避免自动代码(如 modeling_internvl_chat.py)与新框架不兼容。
  6. Pretrained 版本提醒:本模型未经指令微调,直接当"聊天助手"效果有限,生产对话服务请换用完整版;本版本请搭配微调(SWIFT、XTuner、官方仓库均支持)后再上线。

七、常见问题排查 ❓

现象 可能原因 解决办法
加载模型报架构不识别 transformers 版本过低 升级到 >=4.52.1
长请求被截断 上下文窗口不足 调大 session_len / max_model_len
多图问答答非所问 图片编号缺失 使用 Image-1: <image> 格式标注(见 README.md 多图示例)
OOM 显存不足 bf16 权重 + KV Cache 超显存 8-bit 量化或增加 --tp 卡数

总结

部署 InternVL3_5-4B-Pretrained 到生产环境其实只需要三步:准备单卡 GPU → 用 LMDeploy 或 vLLM 一条命令起服务 → 客户端以 OpenAI SDK 接入。得益于 4.7B 的小参数量和 OpenAI 兼容 API 设计,这套多模态推理服务既能快速验证,也能稳稳扛住生产流量。选 LMDeploy 图省事,选 vLLM 图吞吐,按需微调后再上线,你的多模态应用就离生产只差一次 serve 的距离了 🎯

登录后查看全文
InternVL3_5-4B-Pretrained