InternVL3_5-1B-Instruct部署指南:LMDeploy与vLLM打造OpenAI兼容多模态服务

原创2026-10-17 11:09:421,441 阅读

InternVL3_5-1B-Instruct部署指南:LMDeploy与vLLM打造OpenAI兼容多模态服务

InternVL3_5-1B-Instruct 是上海 AI Lab 开源的 InternVL3.5 系列中最轻量的多模态大模型(总参数约 1.1B),它同时具备图像理解、多图对话和思维链推理能力。本指南将带你用 LMDeploy 或 vLLM 在几行命令内把它部署成一个 OpenAI 兼容的多模态 API 服务,让你用熟悉的方式接入图片问答、OCR 与视觉推理场景。

📦 它是什么:1B 级别的多模态模型

InternVL3_5-1B-Instruct 采用经典的 ViT–MLP–LLM 三段式架构,核心配置可参考 config.json:

组件 说明 对应文件
视觉编码器 InternViT-300M(约 0.3B 参数,24 层) modeling_intern_vit.py
语言模型 Qwen3(约 0.8B 参数,28 层) modeling_internvl_chat.py
对话模板 internvl2_5 模板、动态高分辨率切图 conversation.py
模型配置 视觉/语言双配置、动态 patch 数量 configuration_internvl_chat.py、configuration_intern_vit.py

它继承自 InternVL 系列的几项实用特性:

  • 动态高分辨率(Dynamic High Resolution):图片会按宽高比自动切分为 1~12 个 tile(见 config.json 中 min_dynamic_patch / max_dynamic_patch),小图省 token,大图不糊细节;
  • Thinking 思考模式:通过设置 system prompt 即可让模型"先思考后作答",适合数学、图表类难题;
  • 体积小:bf16 权重约 2GB 级,单张消费级 GPU 甚至无卡环境配量化即可跑起来。

训练上,该版本完成了 CPT(多模态继续预训练)+ SFT(监督微调) 两个阶段,属于指令调优版(Instruct),对话体验比 Base 版更自然。

🚀 部署准备:获取模型与依赖安装

第一步:获取模型文件

方式一,clone 仓库到本地:

git clone https://gitcode.com/OpenGVLab/InternVL3_5-1B-Instruct

方式二,直接从模型社区按模型 ID(OpenGVLab/InternVL3_5-1B-Instruct)下载权重,两种方式得到的文件结构一致,部署时指定本地目录即可。

第二步:安装依赖

# transformers 版本必须 >= 4.52.1,否则模型无法加载
pip install "transformers>=4.52.1"

# 二选一:LMDeploy 或 vLLM
pip install "lmdeploy>=0.9.1"
# pip install vllm

⚠️ 该仓库使用了 custom_code(自定义建模代码),加载模型时必须加 trust_remote_code=True,这是新手最容易踩的坑之一。

硬件参考

精度 显存需求(约) 适用场景
bf16 4~6 GB 单张消费级 GPU 即可
8-bit 量化 2~3 GB 低显存设备

⚡ 最快上手:LMDeploy 一条命令起服务

LMDeploy 把多模态模型的推理过程抽象成与纯 LLM 一致的管线,并用一条 serve 命令把模型包装成 OpenAI 兼容的 RESTful API(完整示例见 README.md):

lmdeploy serve api_server ./InternVL3_5-1B-Instruct \
    --server-port 23333 \
    --tp 1 \
    --backend pytorch

常用参数速查:

参数 作用 建议值(1B 模型)
--server-port API 服务端口 23333
--tp 张量并行卡数,多卡时拆分模型 1(38B 用 2,241B 用 8)
--backend 推理后端 pytorch

服务启动后,接口地址为 http://<你的IP>:23333/v1,与 OpenAI 官方接口完全兼容,无需改动现有 SDK 代码。

🔌 像调 OpenAI 一样调多模态 API

安装 SDK 后即可发起"文本 + 图片"的对话请求(示例来自 README.md):

pip install openai
from openai import OpenAI

client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id

response = client.chat.completions.create(
    model=model_name,
    messages=[{
        'role': 'user',
        'content': [
            {'type': 'text', 'text': 'describe this image'},
            {'type': 'image_url', 'image_url': {'url': '<图片URL或base64>'}},
        ],
    }],
    temperature=0.8,
    top_p=0.8,
)
print(response.choices[0].message.content)

多轮对话只需在 messages 中追加历史消息;多图对话可在文本中为每张图片编号(如 Image-1: <image>),模型理解效果会更好。

🐋 备选方案:用 vLLM 部署

如果你的业务已经围绕 vLLM 生态构建(如 PagedAttention 高并发调度、/v1 接口体系),也可以直接用 vLLM 拉起同一个模型:

vllm serve ./InternVL3_5-1B-Instruct \
    --served-model-name internvl3_5-1b \
    --port 8000

选型建议:

  • 通用场景:LMDeploy 和 vLLM 均可,LMDeploy 对 VLM 的支持封装更省事;
  • MoE / GPT-OSS 底座模型(如 InternVL3.5-20B-A4B):官方推荐 vLLM,因为 LMDeploy 尚不支持 GPT-OSS 架构;
  • 1B 这类小模型两者性能差异不大,按团队现有技术栈选择即可。

🧠 进阶玩法:开启 Thinking 思考模式

对于数学、图表推理等复杂任务,可设置官方推荐的思考 system prompt(R1_SYSTEM_PROMPT,见 README.md),让模型先在 <think> 标签内分步推理再给出答案:

R1_SYSTEM_PROMPT = """
You are an AI assistant that rigorously follows this response protocol:
1. First, conduct a detailed analysis of the question...
   Enclose this entire thinking process within  and  tags.
2. After the thinking section, provide a clear, concise, and direct answer...
""".strip()
model.system_message = R1_SYSTEM_PROMPT

官方建议:开启思考模式时设置 do_sample=True 且 temperature=0.6,可有效抑制重复输出。生成参数默认值可参考 generation_config.json。

❓ 常见问题排查(FAQ)

问题 原因与解决
加载报 KeyError 或架构不识别 缺少 trust_remote_code=True,或 transformers < 4.52.1
ModuleNotFoundError: transformers 服务进程与你的 Python 环境不一致,用启动服务的同一环境 pip install
端口被占用 更换 --server-port,或先停掉占用 23333 的进程
回答重复啰嗦 检查采样参数,思考模式建议 temperature=0.6
大图推理慢 / 显存不足 减少切图上限(代码中 max_num 参数,1B 模型可调小)

📁 仓库文件资料速查

文件 用途
README.md 完整文档:架构、基准评测、快速上手与部署示例
modeling_internvl_chat.py 多模态主模型:chat、batch_chat、特征抽取
modeling_intern_vit.py InternViT 视觉编码器实现
configuration_internvl_chat.py 模型总配置(视觉 + 语言)
conversation.py 对话模板,含 to_openai_api_messages 转换
tokenizer_config.json 分词器配置(含 <image> 等多模态特殊 token)
generation_config.json 生成默认配置

按以上步骤,从 clone 仓库到拿到 OpenAI 兼容的多模态服务通常只需 10 分钟。InternVL3_5-1B-Instruct 以极小的体积提供了 OCR、图表理解、多图对话和思考模式等完整能力,非常适合作为多模态应用的原型验证与边缘部署首选。

登录后查看全文
InternVL3_5-1B-Instruct