从单图到视频:InternVL3_5-38B-MPO多轮对话与多图视频理解实战教程
从单图到视频:InternVL3_5-38B-MPO多轮对话与多图视频理解实战教程
InternVL3_5-38B-MPO 是开源多模态大模型系列 InternVL 中 38B 参数的 MPO(混合偏好优化)版本,基于 InternViT-6B 视觉编码器 + Qwen3-32B 语言模型构建,能够完成单图问答、多图理解、视频理解与连续多轮对话。本教程面向新手,带你从零加载模型,逐步实现从一张图片到一个视频的完整图文交互能力。
一、先搞懂:InternVL3_5-38B-MPO 是什么?
InternVL3_5-38B-MPO 是 InternVL3.5 系列完成 CPT(多模态持续预训练)+ SFT(监督微调)+ MPO(离线偏好优化) 三个训练阶段的权重版本。简单说:
- 多模态底座:视觉编码器 InternViT-6B(45 层、448px 输入)+ Qwen3-32B 语言模型,总参数量约 38.4B;
- MPO 偏好优化:通过 DPO 偏好损失 + 质量损失 + 生成损失的组合目标做离线强化学习,让回答更贴合人类偏好;
- 动态高分辨率:图片按宽高比自动切成 1~12 个 448×448 小图块(tile),细节多的图切得更细,兼顾精度与算力;
- 视频理解:把视频按时间段抽帧,每帧走同样的动态切块流程,再拼接成多帧序列进行问答。
📌 小提示:根据训练阶段表,
-MPO后缀表示尚未进行在线 GSPO 强化学习;若追求最完整的推理表现,可选择无后缀的 InternVL3_5-38B 版本。本教程以 MPO 版本为例,用法完全一致。
关键文件速览:
| 文件 | 作用 |
|---|---|
| README.md | 官方说明与全部示例代码 |
| config.json | 模型架构与动态分辨率参数 |
| modeling_internvl_chat.py | chat / batch_chat / generate 核心推理逻辑 |
| conversation.py | 对话模板定义 |
| model.safetensors.index.json | 16 个分片权重文件的索引 |
二、环境准备:一键安装与模型获取
硬件与依赖要求
- 38B 模型 bf16 精度下约需 2 张 A100 80G(官方建议);
- 依赖版本:
transformers>=4.52.1,另需torch、Pillow、decord(视频抽帧):
pip install "transformers>=4.52.1" pillow decord
获取模型权重
如果需要通过 git 拉取本仓库(模型权重仓库),执行:
git clone https://gitcode.com/OpenGVLab/InternVL3_5-38B-MPO
拉取后目录中即为模型文件(model-00001-of-00016.safetensors 等 16 个分片 + 配置文件),可直接以本地路径方式加载。
三、加载模型:3 行代码起步
多卡部署只需加 device_map="auto",模型会自动把权重分摊到多张 GPU:
import torch
from transformers import AutoTokenizer, AutoModel
model = AutoModel.from_pretrained(
"./InternVL3_5-38B-MPO",
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
use_flash_attn=True,
trust_remote_code=True,
device_map="auto",
).eval()
tokenizer = AutoTokenizer.from_pretrained(
"./InternVL3_5-38B-MPO", trust_remote_code=True, use_fast=False)
加载成功后,model.chat() 就是你的核心入口——多轮、多图、视频全部由这一个方法完成(实现见 modeling_internvl_chat.py)。
四、多轮对话实战:从纯文本到单图追问
多轮对话的诀窍只有两个参数:return_history=True 拿到历史,下一轮传回 history。
1. 纯文本多轮对话
generation_config = dict(max_new_tokens=1024, do_sample=True)
response, history = model.chat(
tokenizer, None, "你好,你是谁?", generation_config,
history=None, return_history=True)
response, history = model.chat(
tokenizer, None, "给我讲个小故事", generation_config,
history=history, return_history=True)
2. 单图多轮对话(边看图边追问)
先用官方 load_image 工具函数把图片转成动态分辨率的 tile 张量(完整实现见 README.md 的 Quick Start 部分),然后第一轮带上 <image> 占位符:
pixel_values = load_image("photo.jpg", max_num=12).to(torch.bfloat16).cuda()
# 第一轮:看图
response, history = model.chat(
tokenizer, pixel_values,
"<image>\n请详细描述这张图片", generation_config,
history=None, return_history=True)
# 第二轮:继续追问,图片会自动保留在上下文中
response, history = model.chat(
tokenizer, pixel_values,
"根据这张图片写一首诗", generation_config,
history=history, return_history=True)
💡 追问时不需要重新描述图片,模型基于 history 里的 <image> 标记仍能"看见"它。
五、多图理解:两种喂图姿势
多图场景有两种组织方式,选哪种取决于你的提问粒度。
方式 A:拼接图像(当作"一张大图")
把多张图片的 tile 直接 torch.cat,只放一个 <image> 占位符。适合让模型整体感知画面内容:
pv1 = load_image("img1.jpg", max_num=12).to(torch.bfloat16).cuda()
pv2 = load_image("img2.jpg", max_num=12).to(torch.bfloat16).cuda()
pixel_values = torch.cat((pv1, pv2), dim=0)
question = "<image>\n请详细描述这两张图片"
response, history = model.chat(
tokenizer, pixel_values, question, generation_config,
history=None, return_history=True)
# 多轮追问:相似度对比
response, history = model.chat(
tokenizer, pixel_values,
"这两张图的异同点是什么?", generation_config,
history=history, return_history=True)
方式 B:独立图像(一张图一个占位符)
图片较多或需要精确指代"第几张图"时,用 Image-1 / Image-2 编号,并传入 num_patches_list 告诉模型每张图各有多少个 tile:
num_patches_list = [pv1.size(0), pv2.size(0)]
question = "Image-1: <image>\nImage-2: <image>\n分别描述这两张图"
response, history = model.chat(
tokenizer, pixel_values, question, generation_config,
num_patches_list=num_patches_list,
history=None, return_history=True)
⚠️ 注意:多轮追问时
num_patches_list要每轮都传;另外批量接口batch_chat不支持多轮(实现见 modeling_internvl_chat.py),批量场景请自行循环调用chat。
六、视频理解:抽帧 + 多轮追问
视频理解本质是"抽帧 → 每帧当一张图 → 编号拼接"。官方用 decord 按时间段均匀抽帧(load_video 函数完整实现见 README.md):
# 均匀抽取 8 帧
pixel_values, num_patches_list = load_video(
"video.mp4", num_segments=8, max_num=1)
pixel_values = pixel_values.to(torch.bfloat16).cuda()
# 每帧一个编号占位符:Frame1: <image>\nFrame2: <image>\n...
video_prefix = "".join(f"Frame{i+1}: <image>\n" for i in range(len(num_patches_list)))
question = video_prefix + "视频里的红熊猫在做什么?"
response, history = model.chat(
tokenizer, pixel_values, question, generation_config,
num_patches_list=num_patches_list, history=None, return_history=True)
# 第二轮:继续追问视频内容
response, history = model.chat(
tokenizer, pixel_values, "请详细复述整个视频内容", generation_config,
num_patches_list=num_patches_list, history=history, return_history=True)
🎬 调参经验:num_segments 控制抽帧数量,短视频用 8 帧够用,长视频可加到 32;max_num 控制每帧最多切几个 tile,帧数越多建议保持 max_num=1 以控制显存。
七、进阶技巧:Thinking 模式与流式输出
开启 Thinking 深度思考模式
遇到数学、图表推理等复杂任务时,设置系统提示词可让模型先"思考"再回答(官方推荐此时 do_sample=True、temperature=0.6 以避免重复):
model.system_message = R1_SYSTEM_PROMPT # 官方提供的思考模式系统提示词
generation_config = dict(max_new_tokens=4096, do_sample=True, temperature=0.6)
流式输出(打字机效果)
用 TextIteratorStreamer 把 model.chat 放进子线程,主线程即可逐段打印回答,示例代码见 README.md 的 Streaming Output 章节。
八、常见问题 FAQ
Q1:显存不够怎么办?
可尝试 8-bit 量化加载(load_in_8bit=True),或换用更小的 InternVL3_5-8B / 14B 版本,API 完全一致。
Q2:<image> 占位符忘了写会报错吗?
不用手写也没关系——首轮对话若 pixel_values 非空且问题里没有 <image>,chat 会自动在开头补上(逻辑见 modeling_internvl_chat.py);但多图/视频的多占位符场景必须自己写全。
Q3:MPO 版本和 Instruct 版本选哪个?
-Instruct 只做了 SFT;-MPO 额外完成离线偏好优化,回答风格更贴合人类偏好;无后缀版本则完成了完整的 CascadeRL(MPO + 在线 GSPO)训练,推理能力最强。研究对比实验时三者都值得试试。
Q4:支持哪些输入格式?
图片用 Pillow 打开即可(jpg/png 等);视频用 decord 读取(mp4 等常见格式)。纯文本不传 pixel_values 即可。
写在最后
掌握 chat() 的 history / num_patches_list 这两个核心参数,你就已经打通了 InternVL3_5-38B-MPO 的单图问答 → 多图对比 → 视频理解 → 多轮追问全流程。接下来可以试着把本教程的示例接上自己的图片与视频,体验 38B 级多模态大模型的完整能力吧 🚀