InternVL3_5-38B-Pretrained快速上手:用transformers加载38B多模态模型并跑通图像对话的完整教程

原创2026-10-19 23:39:341,840 阅读

InternVL3_5-38B-Pretrained快速上手:用transformers加载38B多模态模型并跑通图像对话的完整教程

本文带你快速上手 InternVL3_5-38B-Pretrained——OpenGVLab 开源的 InternVL3.5 系列 384 亿参数预训练多模态大模型。你将学会如何用 transformers 在双卡环境加载 38B 视觉语言模型、做动态高分辨率图像预处理,并跑通第一句图像对话,全程只需三段核心代码。

📦 模型简介:InternVL3.5 家族的 38B 多模态底座

InternVL3_5-38B-Pretrained 是 InternVL3.5 系列中完成多模态持续预训练(CPT)阶段的 38B 版本,采用经典的 "ViT–MLP–LLM" 三段式架构:

组件 说明 参数量
视觉编码器 InternViT-6B-448px-V2_5 5.5B
语言模型 基于 Qwen3-32B 初始化 32.8B
总计 38.4B

它的两个核心亮点:

  • 动态高分辨率:图像自动切分为 1~12 个 448×448 图块(tile),按宽高比智能选择分辨率,兼顾细节与速度
  • 开源预训练权重:适合科研复现与二次训练;若用于实际对话产品,建议换用完成 SFT + CascadeRL 全流程的版本(如 InternVL3.5-38B)

官方完整说明见 README.md。

🖥️ 环境准备:一键安装 transformers 与硬件要求

硬件门槛:官方建议 38B 模型至少需要 2 张 A100(≤30B 的型号单卡 A100 即可)。

软件依赖(注意版本下限,低了会报错):

pip install "transformers>=4.52.1" torch torchvision accelerate

克隆模型仓库到本地(本地加载时路径可指向本地目录):

git clone https://gitcode.com/OpenGVLab/InternVL3_5-38B-Pretrained

该仓库自带完整权重(16 个 safetensors 分片 + model.safetensors.index.json),以及自定义建模代码,因此加载时必须加 trust_remote_code=True。

🚀 第一步:多卡加载 38B 多模态模型权重

用 AutoModel 一行式加载,device_map="auto" 自动把权重切分到多张 GPU:

import torch
from transformers import AutoTokenizer, AutoModel

path = "OpenGVLab/InternVL3_5-38B-Pretrained"  # 或本地目录
model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,   # 用 bf16 节省显存
    low_cpu_mem_usage=True,
    use_flash_attn=True,
    trust_remote_code=True,
    device_map="auto").eval()

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)

三个关键参数别漏:

  • torch_dtype=torch.bfloat16:bf16 精度加载,显存减半
  • trust_remote_code=True:允许加载仓库内的 modeling_internvl_chat.py 等自定义代码
  • device_map="auto":38B 模型多卡自动分片,无需手动指定

🖼️ 第二步:动态高分辨率图像预处理

InternVL 系列的图像输入不是固定尺寸,而是"切块 + 缩略图"策略。官方封装了 load_image 函数,核心流程是:打开图片 → 按宽高比找到最接近的切块比例(最多 max_num=12 块)→ 每块 resize 到 448×448 → 转成归一化的张量。

完整实现可参考 README.md 中的 dynamic_preprocess 与 build_transform 函数,这里只展示调用方式:

pixel_values = load_image('test.jpg', max_num=12).to(torch.bfloat16).cuda()

切块数越多,细节越好,但视觉 token 越多、越费显存。日常问答 12 块已足够,超长文档可再调大。

💬 第三步:跑通第一句图像对话

model.chat 是核心对话接口(定义见 modeling_internvl_chat.py#L264-L313),支持单图、多图、纯文本三种模式:

generation_config = dict(max_new_tokens=1024, do_sample=True)

# 单图单轮对话
question = '<image>\nPlease describe the image shortly.'
response = model.chat(tokenizer, pixel_values, question, generation_config)
print(f'User: {question}\nAssistant: {response}')

对话模板与多轮历史管理由 conversation.py 负责,history 参数用于多轮上下文传递:

# 多轮对话:第二轮追问,复用 history 即可
question = 'Please write a poem according to the image.'
response, history = model.chat(tokenizer, pixel_values, question,
                               generation_config, history=history,
                               return_history=True)

批量推理则用 model.batch_chat,一次处理多张图,适合做批量打标签等场景。

📂 仓库核心文件速览

文件 作用
config.json 模型结构配置:模板 internvl2_5、448px 图块、最多 12 块
modeling_internvl_chat.py 主模型:chat / batch_chat / generate
modeling_intern_vit.py InternViT 视觉编码器实现
conversation.py 对话模板(prompt 拼装、角色分隔符)
vocab.json 分词词表(Qwen3 体系,含 <IMG_CONTEXT> 等视觉 token)
model.safetensors.index.json 16 个权重分片的路由索引

❓ 常见问题 FAQ

Q1:加载报 KeyError 或找不到自定义类? 确认 transformers>=4.52.1 且传了 trust_remote_code=True。

Q2:显存不够怎么办? 可加 load_in_8bit=True 做 8-bit 量化(需安装 bitsandbytes),38B 模型即可挤进单张大显存卡。

Q3:为什么对话效果不如预期? 注意本项目是 Pretrained(CPT 阶段) 权重,尚未做指令微调。想要流畅的对话表现,请改用完成 SFT + CascadeRL 的完整版 InternVL3.5-38B;本仓库更适合科研、复现与二次训练。

Q4:如何部署为在线服务? 生产环境推荐 LMDeploy(38B 版设置 tp=2)或 vLLM,一条命令即可拉起 OpenAI 兼容的 API 服务。


到这里,你已完成 InternVL3_5-38B-Pretrained 多模态大模型 从环境安装、多卡加载到图像对话的完整链路 🎉。下一步可以探索流式输出、视频理解或基于 LMDeploy 的 API 服务化,让这套 38B 视觉语言底座真正跑进你的业务里。

登录后查看全文
InternVL3_5-38B-Pretrained