InternVL3_5-38B-Pretrained快速上手:用transformers加载38B多模态模型并跑通图像对话的完整教程
InternVL3_5-38B-Pretrained快速上手:用transformers加载38B多模态模型并跑通图像对话的完整教程
本文带你快速上手 InternVL3_5-38B-Pretrained——OpenGVLab 开源的 InternVL3.5 系列 384 亿参数预训练多模态大模型。你将学会如何用 transformers 在双卡环境加载 38B 视觉语言模型、做动态高分辨率图像预处理,并跑通第一句图像对话,全程只需三段核心代码。
📦 模型简介:InternVL3.5 家族的 38B 多模态底座
InternVL3_5-38B-Pretrained 是 InternVL3.5 系列中完成多模态持续预训练(CPT)阶段的 38B 版本,采用经典的 "ViT–MLP–LLM" 三段式架构:
| 组件 | 说明 | 参数量 |
|---|---|---|
| 视觉编码器 | InternViT-6B-448px-V2_5 | 5.5B |
| 语言模型 | 基于 Qwen3-32B 初始化 | 32.8B |
| 总计 | 38.4B |
它的两个核心亮点:
- 动态高分辨率:图像自动切分为 1~12 个 448×448 图块(tile),按宽高比智能选择分辨率,兼顾细节与速度
- 开源预训练权重:适合科研复现与二次训练;若用于实际对话产品,建议换用完成 SFT + CascadeRL 全流程的版本(如 InternVL3.5-38B)
官方完整说明见 README.md。
🖥️ 环境准备:一键安装 transformers 与硬件要求
硬件门槛:官方建议 38B 模型至少需要 2 张 A100(≤30B 的型号单卡 A100 即可)。
软件依赖(注意版本下限,低了会报错):
pip install "transformers>=4.52.1" torch torchvision accelerate
克隆模型仓库到本地(本地加载时路径可指向本地目录):
git clone https://gitcode.com/OpenGVLab/InternVL3_5-38B-Pretrained
该仓库自带完整权重(16 个 safetensors 分片 + model.safetensors.index.json),以及自定义建模代码,因此加载时必须加 trust_remote_code=True。
🚀 第一步:多卡加载 38B 多模态模型权重
用 AutoModel 一行式加载,device_map="auto" 自动把权重切分到多张 GPU:
import torch
from transformers import AutoTokenizer, AutoModel
path = "OpenGVLab/InternVL3_5-38B-Pretrained" # 或本地目录
model = AutoModel.from_pretrained(
path,
torch_dtype=torch.bfloat16, # 用 bf16 节省显存
low_cpu_mem_usage=True,
use_flash_attn=True,
trust_remote_code=True,
device_map="auto").eval()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)
三个关键参数别漏:
torch_dtype=torch.bfloat16:bf16 精度加载,显存减半trust_remote_code=True:允许加载仓库内的 modeling_internvl_chat.py 等自定义代码device_map="auto":38B 模型多卡自动分片,无需手动指定
🖼️ 第二步:动态高分辨率图像预处理
InternVL 系列的图像输入不是固定尺寸,而是"切块 + 缩略图"策略。官方封装了 load_image 函数,核心流程是:打开图片 → 按宽高比找到最接近的切块比例(最多 max_num=12 块)→ 每块 resize 到 448×448 → 转成归一化的张量。
完整实现可参考 README.md 中的 dynamic_preprocess 与 build_transform 函数,这里只展示调用方式:
pixel_values = load_image('test.jpg', max_num=12).to(torch.bfloat16).cuda()
切块数越多,细节越好,但视觉 token 越多、越费显存。日常问答 12 块已足够,超长文档可再调大。
💬 第三步:跑通第一句图像对话
model.chat 是核心对话接口(定义见 modeling_internvl_chat.py#L264-L313),支持单图、多图、纯文本三种模式:
generation_config = dict(max_new_tokens=1024, do_sample=True)
# 单图单轮对话
question = '<image>\nPlease describe the image shortly.'
response = model.chat(tokenizer, pixel_values, question, generation_config)
print(f'User: {question}\nAssistant: {response}')
对话模板与多轮历史管理由 conversation.py 负责,history 参数用于多轮上下文传递:
# 多轮对话:第二轮追问,复用 history 即可
question = 'Please write a poem according to the image.'
response, history = model.chat(tokenizer, pixel_values, question,
generation_config, history=history,
return_history=True)
批量推理则用 model.batch_chat,一次处理多张图,适合做批量打标签等场景。
📂 仓库核心文件速览
| 文件 | 作用 |
|---|---|
| config.json | 模型结构配置:模板 internvl2_5、448px 图块、最多 12 块 |
| modeling_internvl_chat.py | 主模型:chat / batch_chat / generate |
| modeling_intern_vit.py | InternViT 视觉编码器实现 |
| conversation.py | 对话模板(prompt 拼装、角色分隔符) |
| vocab.json | 分词词表(Qwen3 体系,含 <IMG_CONTEXT> 等视觉 token) |
| model.safetensors.index.json | 16 个权重分片的路由索引 |
❓ 常见问题 FAQ
Q1:加载报 KeyError 或找不到自定义类?
确认 transformers>=4.52.1 且传了 trust_remote_code=True。
Q2:显存不够怎么办?
可加 load_in_8bit=True 做 8-bit 量化(需安装 bitsandbytes),38B 模型即可挤进单张大显存卡。
Q3:为什么对话效果不如预期? 注意本项目是 Pretrained(CPT 阶段) 权重,尚未做指令微调。想要流畅的对话表现,请改用完成 SFT + CascadeRL 的完整版 InternVL3.5-38B;本仓库更适合科研、复现与二次训练。
Q4:如何部署为在线服务?
生产环境推荐 LMDeploy(38B 版设置 tp=2)或 vLLM,一条命令即可拉起 OpenAI 兼容的 API 服务。
到这里,你已完成 InternVL3_5-38B-Pretrained 多模态大模型 从环境安装、多卡加载到图像对话的完整链路 🎉。下一步可以探索流式输出、视频理解或基于 LMDeploy 的 API 服务化,让这套 38B 视觉语言底座真正跑进你的业务里。