InternVL3_5-1B-Instruct部署指南:LMDeploy与vLLM打造OpenAI兼容多模态服务
InternVL3_5-1B-Instruct部署指南:LMDeploy与vLLM打造OpenAI兼容多模态服务
InternVL3_5-1B-Instruct 是上海 AI Lab 开源的 InternVL3.5 系列中最轻量的多模态大模型(总参数约 1.1B),它同时具备图像理解、多图对话和思维链推理能力。本指南将带你用 LMDeploy 或 vLLM 在几行命令内把它部署成一个 OpenAI 兼容的多模态 API 服务,让你用熟悉的方式接入图片问答、OCR 与视觉推理场景。
📦 它是什么:1B 级别的多模态模型
InternVL3_5-1B-Instruct 采用经典的 ViT–MLP–LLM 三段式架构,核心配置可参考 config.json:
| 组件 | 说明 | 对应文件 |
|---|---|---|
| 视觉编码器 | InternViT-300M(约 0.3B 参数,24 层) | modeling_intern_vit.py |
| 语言模型 | Qwen3(约 0.8B 参数,28 层) | modeling_internvl_chat.py |
| 对话模板 | internvl2_5 模板、动态高分辨率切图 |
conversation.py |
| 模型配置 | 视觉/语言双配置、动态 patch 数量 | configuration_internvl_chat.py、configuration_intern_vit.py |
它继承自 InternVL 系列的几项实用特性:
- 动态高分辨率(Dynamic High Resolution):图片会按宽高比自动切分为 1~12 个 tile(见 config.json 中
min_dynamic_patch/max_dynamic_patch),小图省 token,大图不糊细节; - Thinking 思考模式:通过设置 system prompt 即可让模型"先思考后作答",适合数学、图表类难题;
- 体积小:bf16 权重约 2GB 级,单张消费级 GPU 甚至无卡环境配量化即可跑起来。
训练上,该版本完成了 CPT(多模态继续预训练)+ SFT(监督微调) 两个阶段,属于指令调优版(Instruct),对话体验比 Base 版更自然。
🚀 部署准备:获取模型与依赖安装
第一步:获取模型文件
方式一,clone 仓库到本地:
git clone https://gitcode.com/OpenGVLab/InternVL3_5-1B-Instruct
方式二,直接从模型社区按模型 ID(OpenGVLab/InternVL3_5-1B-Instruct)下载权重,两种方式得到的文件结构一致,部署时指定本地目录即可。
第二步:安装依赖
# transformers 版本必须 >= 4.52.1,否则模型无法加载
pip install "transformers>=4.52.1"
# 二选一:LMDeploy 或 vLLM
pip install "lmdeploy>=0.9.1"
# pip install vllm
⚠️ 该仓库使用了
custom_code(自定义建模代码),加载模型时必须加trust_remote_code=True,这是新手最容易踩的坑之一。
硬件参考
| 精度 | 显存需求(约) | 适用场景 |
|---|---|---|
| bf16 | 4~6 GB | 单张消费级 GPU 即可 |
| 8-bit 量化 | 2~3 GB | 低显存设备 |
⚡ 最快上手:LMDeploy 一条命令起服务
LMDeploy 把多模态模型的推理过程抽象成与纯 LLM 一致的管线,并用一条 serve 命令把模型包装成 OpenAI 兼容的 RESTful API(完整示例见 README.md):
lmdeploy serve api_server ./InternVL3_5-1B-Instruct \
--server-port 23333 \
--tp 1 \
--backend pytorch
常用参数速查:
| 参数 | 作用 | 建议值(1B 模型) |
|---|---|---|
--server-port |
API 服务端口 | 23333 |
--tp |
张量并行卡数,多卡时拆分模型 | 1(38B 用 2,241B 用 8) |
--backend |
推理后端 | pytorch |
服务启动后,接口地址为 http://<你的IP>:23333/v1,与 OpenAI 官方接口完全兼容,无需改动现有 SDK 代码。
🔌 像调 OpenAI 一样调多模态 API
安装 SDK 后即可发起"文本 + 图片"的对话请求(示例来自 README.md):
pip install openai
from openai import OpenAI
client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
model=model_name,
messages=[{
'role': 'user',
'content': [
{'type': 'text', 'text': 'describe this image'},
{'type': 'image_url', 'image_url': {'url': '<图片URL或base64>'}},
],
}],
temperature=0.8,
top_p=0.8,
)
print(response.choices[0].message.content)
多轮对话只需在 messages 中追加历史消息;多图对话可在文本中为每张图片编号(如 Image-1: <image>),模型理解效果会更好。
🐋 备选方案:用 vLLM 部署
如果你的业务已经围绕 vLLM 生态构建(如 PagedAttention 高并发调度、/v1 接口体系),也可以直接用 vLLM 拉起同一个模型:
vllm serve ./InternVL3_5-1B-Instruct \
--served-model-name internvl3_5-1b \
--port 8000
选型建议:
- 通用场景:LMDeploy 和 vLLM 均可,LMDeploy 对 VLM 的支持封装更省事;
- MoE / GPT-OSS 底座模型(如 InternVL3.5-20B-A4B):官方推荐 vLLM,因为 LMDeploy 尚不支持 GPT-OSS 架构;
- 1B 这类小模型两者性能差异不大,按团队现有技术栈选择即可。
🧠 进阶玩法:开启 Thinking 思考模式
对于数学、图表推理等复杂任务,可设置官方推荐的思考 system prompt(R1_SYSTEM_PROMPT,见 README.md),让模型先在 <think> 标签内分步推理再给出答案:
R1_SYSTEM_PROMPT = """
You are an AI assistant that rigorously follows this response protocol:
1. First, conduct a detailed analysis of the question...
Enclose this entire thinking process within and tags.
2. After the thinking section, provide a clear, concise, and direct answer...
""".strip()
model.system_message = R1_SYSTEM_PROMPT
官方建议:开启思考模式时设置 do_sample=True 且 temperature=0.6,可有效抑制重复输出。生成参数默认值可参考 generation_config.json。
❓ 常见问题排查(FAQ)
| 问题 | 原因与解决 |
|---|---|
加载报 KeyError 或架构不识别 |
缺少 trust_remote_code=True,或 transformers < 4.52.1 |
ModuleNotFoundError: transformers |
服务进程与你的 Python 环境不一致,用启动服务的同一环境 pip install |
| 端口被占用 | 更换 --server-port,或先停掉占用 23333 的进程 |
| 回答重复啰嗦 | 检查采样参数,思考模式建议 temperature=0.6 |
| 大图推理慢 / 显存不足 | 减少切图上限(代码中 max_num 参数,1B 模型可调小) |
📁 仓库文件资料速查
| 文件 | 用途 |
|---|---|
| README.md | 完整文档:架构、基准评测、快速上手与部署示例 |
| modeling_internvl_chat.py | 多模态主模型:chat、batch_chat、特征抽取 |
| modeling_intern_vit.py | InternViT 视觉编码器实现 |
| configuration_internvl_chat.py | 模型总配置(视觉 + 语言) |
| conversation.py | 对话模板,含 to_openai_api_messages 转换 |
| tokenizer_config.json | 分词器配置(含 <image> 等多模态特殊 token) |
| generation_config.json | 生成默认配置 |
按以上步骤,从 clone 仓库到拿到 OpenAI 兼容的多模态服务通常只需 10 分钟。InternVL3_5-1B-Instruct 以极小的体积提供了 OCR、图表理解、多图对话和思考模式等完整能力,非常适合作为多模态应用的原型验证与边缘部署首选。