InternVL3_5-38B-Flash部署实战:一条命令上线OpenAI兼容API服务(LMDeploy与vLLM双方案)
InternVL3_5-38B-Flash部署实战:一条命令上线OpenAI兼容API服务(LMDeploy与vLLM双方案)
InternVL3_5-38B-Flash 是 OpenGVLab 开源 InternVL3.5 多模态大模型家族中的"闪电版":它在保持约 100% 原版性能的同时,把视觉 token 数量降低 50%,推理速度大幅提升。本文是一份面向新手的完整部署指南,教你用一条命令把它上线为 OpenAI 兼容的 API 服务,并给出 LMDeploy 与 vLLM 两套可选方案,帮助你在几分钟内跑通图文对话接口。
一、模型速览:Flash 版强在哪里?
InternVL3_5-38B-Flash 采用"ViT–MLP–LLM"架构:视觉编码器为 InternViT-6B,语言模型为 Qwen3-32B,总参数约 38.4B(视觉 5.5B + 语言 32.8B)。
🔥 Flash 的核心创新——Visual Resolution Router(视觉分辨率路由器,ViR):
| 特性 | 说明 |
|---|---|
| 动态压缩 | 每个图像 patch 先压缩为 256 个视觉 token,Flash 版可进一步压缩至 64 个 |
| 语义路由 | 路由器根据 patch 的语义丰富度自动选择压缩率,细节丰富的区域保留高分辨率 |
| 效果 | 视觉 token 减少 50%,性能保持近乎无损 |
打开 config.json 可以看到 "flash_mode": true 字段,它就是 Flash 特性的开关标识;视觉处理逻辑集中在 modeling_internvl_chat.py 与 modeling_intern_vit.py 中,模型按 17 个 safetensors 分片存放(见 model.safetensors.index.json)。
此外,InternVL3.5 系列支持"思考模式"(Thinking Mode):通过设置特定的系统提示词,模型会先在 think 标签内逐步推理,再给出最终答案,适合数学、科学等复杂推理任务。
二、部署前准备:硬件与软件要求
1. 显卡要求
bf16 全精度下,38B 模型权重约 76GB,至少需要 2 张 80GB 显存的 GPU(官方建议 2 张 A100-80G)。显卡较少时可改用 InternVL3.5-8B/14B 等更小的 Flash 系列模型。
2. 软件环境
- Python 3.10+,PyTorch(CUDA 版本)
transformers>=4.52.1(低于此版本模型无法正常工作)- 部署框架二选一:
lmdeploy>=0.9.1或vllm
安装命令:
pip install "transformers>=4.52.1"
pip install "lmdeploy>=0.9.1"
# 或选择 vLLM 方案
pip install vllm openai
三、方案一:LMDeploy 一条命令上线(推荐)
LMDeploy 把多模态模型的推理过程抽象成和纯 LLM 一样的简单管线,api_server 子命令可把模型直接打包成 RESTful 服务,接口与 OpenAI 完全兼容。
1. 启动服务
只需一条命令(注意 38B 版本需 --tp 2 做双卡并行):
lmdeploy serve api_server OpenGVLab/InternVL3_5-38B-Flash \
--server-port 23333 --tp 2 --backend pytorch
官方提示:38B 版本请设置
tp=2;更大的 241B-A28B 版本需tp=8。首次启动会自动下载模型权重。
2. 用 OpenAI 客户端调用
服务启动后,任意支持 OpenAI 协议的语言、代码都能直接接入:
from openai import OpenAI
client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
model=model_name,
messages=[{
'role': 'user',
'content': [
{'type': 'text', 'text': 'describe this image'},
{'type': 'image_url',
'image_url': {'url': 'https://.../tiger.jpeg'}}
]
}],
temperature=0.8,
top_p=0.8)
print(response.choices[0].message.content)
文本、图片(或二者混合)都通过标准的 messages 数组传入,无需额外适配层。
四、方案二:vLLM 部署方案
vLLM 同样支持 InternVL 系列模型的 OpenAI 兼容部署,默认提供 /v1/chat/completions 等标准接口。使用 vLLM 时建议选用与官方 Transformers 标准对齐的 HF 格式模型(对应命名为 InternVL3_5-38B-HF,本仓库为 GitHub 格式),启动示例:
vllm serve OpenGVLab/InternVL3_5-38B-HF \
--port 8000 --tensor-parallel-size 2
启动完成后,客户端将 base_url 指向 http://0.0.0.0:8000/v1 即可,调用方式与上一节完全一致。
两套方案怎么选?
| 对比项 | LMDeploy | vLLM |
|---|---|---|
| 模型格式 | 本仓库(GitHub 格式)可直接加载 | 建议用 HF 格式权重 |
| 启动复杂度 | 一条命令,开箱即用 | 一条命令,生态更丰富 |
| 适用场景 | 快速验证、VLM 专用部署 | 已在使用 vLLM 集群的环境 |
官方说明:大多数情况下两者均可用于 InternVL 系列部署,可按团队现有技术栈自由选择。
五、进阶配置:开启思考模式
处理复杂推理任务时,可在系统提示中启用 Thinking 模式,并建议设置 do_sample=True、temperature=0.6 以缓解重复生成问题:
R1_SYSTEM_PROMPT = """
You are an AI assistant that rigorously follows this response protocol:
1. First, conduct a detailed analysis of the question... Enclose this entire
thinking process within and tags.
2. After the thinking section, provide a clear, concise, and direct answer.
""".strip()
# 在 messages 首位加入 {"role": "system", "content": R1_SYSTEM_PROMPT}
六、常见问题排查
- 显存不足 / OOM:确认使用了
--tp 2双卡并行;单卡用户可换用 8B/14B 系列,或改用 8-bit 量化加载。 - 模型加载报错:检查
transformers版本是否 ≥ 4.52.1。 - 多图对话输入 token 过多:多张图片会显著增加上下文长度,请适当调大
session_len(如 32768)。 - 不知道选哪个版本:系列中不带后缀的模型完成了完整训练管线,是生产部署的首选。
七、仓库文件导航
| 文件 | 说明 |
|---|---|
| README.md | 完整文档:Quick Start、部署示例、思考模式 |
| config.json | 模型配置,flash_mode: true 标识 Flash 特性 |
| modeling_internvl_chat.py | 对话模型主体实现 |
| modeling_intern_vit.py | InternViT 视觉编码器实现 |
| configuration_internvl_chat.py | 对话模型配置类 |
| tokenizer.json / vocab.json | 分词器词表 |
| chat_template.jinja | 对话模板 |
| preprocessor_config.json | 图像预处理参数(448px、动态切块) |
总结
InternVL3_5-38B-Flash 把旗舰级多模态模型的推理成本打了"对折":ViR 路由器智能压缩视觉 token,配合 LMDeploy 的 api_server 一条命令,2 张 80G GPU 即可把它变成 OpenAI 兼容的在线服务。无论是替换现有 OpenAI 调用、还是快速搭建图文问答 Demo,本文的 LMDeploy 与 vLLM 双方案都能让你在半天内完成从权重到 API 的全流程。