从单图到视频:InternVL3_5-38B-MPO多轮对话与多图视频理解实战教程

原创2026-10-18 10:52:022,302 阅读

从单图到视频:InternVL3_5-38B-MPO多轮对话与多图视频理解实战教程

InternVL3_5-38B-MPO 是开源多模态大模型系列 InternVL 中 38B 参数的 MPO(混合偏好优化)版本,基于 InternViT-6B 视觉编码器 + Qwen3-32B 语言模型构建,能够完成单图问答、多图理解、视频理解与连续多轮对话。本教程面向新手,带你从零加载模型,逐步实现从一张图片到一个视频的完整图文交互能力。

一、先搞懂:InternVL3_5-38B-MPO 是什么?

InternVL3_5-38B-MPO 是 InternVL3.5 系列完成 CPT(多模态持续预训练)+ SFT(监督微调)+ MPO(离线偏好优化) 三个训练阶段的权重版本。简单说:

  • 多模态底座:视觉编码器 InternViT-6B(45 层、448px 输入)+ Qwen3-32B 语言模型,总参数量约 38.4B;
  • MPO 偏好优化:通过 DPO 偏好损失 + 质量损失 + 生成损失的组合目标做离线强化学习,让回答更贴合人类偏好;
  • 动态高分辨率:图片按宽高比自动切成 1~12 个 448×448 小图块(tile),细节多的图切得更细,兼顾精度与算力;
  • 视频理解:把视频按时间段抽帧,每帧走同样的动态切块流程,再拼接成多帧序列进行问答。

📌 小提示:根据训练阶段表,-MPO 后缀表示尚未进行在线 GSPO 强化学习;若追求最完整的推理表现,可选择无后缀的 InternVL3_5-38B 版本。本教程以 MPO 版本为例,用法完全一致。

关键文件速览:

文件 作用
README.md 官方说明与全部示例代码
config.json 模型架构与动态分辨率参数
modeling_internvl_chat.py chat / batch_chat / generate 核心推理逻辑
conversation.py 对话模板定义
model.safetensors.index.json 16 个分片权重文件的索引

二、环境准备:一键安装与模型获取

硬件与依赖要求

  • 38B 模型 bf16 精度下约需 2 张 A100 80G(官方建议);
  • 依赖版本:transformers>=4.52.1,另需 torch、Pillow、decord(视频抽帧):
pip install "transformers>=4.52.1" pillow decord

获取模型权重

如果需要通过 git 拉取本仓库(模型权重仓库),执行:

git clone https://gitcode.com/OpenGVLab/InternVL3_5-38B-MPO

拉取后目录中即为模型文件(model-00001-of-00016.safetensors 等 16 个分片 + 配置文件),可直接以本地路径方式加载。

三、加载模型:3 行代码起步

多卡部署只需加 device_map="auto",模型会自动把权重分摊到多张 GPU:

import torch
from transformers import AutoTokenizer, AutoModel

model = AutoModel.from_pretrained(
    "./InternVL3_5-38B-MPO",
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    use_flash_attn=True,
    trust_remote_code=True,
    device_map="auto",
).eval()
tokenizer = AutoTokenizer.from_pretrained(
    "./InternVL3_5-38B-MPO", trust_remote_code=True, use_fast=False)

加载成功后,model.chat() 就是你的核心入口——多轮、多图、视频全部由这一个方法完成(实现见 modeling_internvl_chat.py)。

四、多轮对话实战:从纯文本到单图追问

多轮对话的诀窍只有两个参数:return_history=True 拿到历史,下一轮传回 history。

1. 纯文本多轮对话

generation_config = dict(max_new_tokens=1024, do_sample=True)

response, history = model.chat(
    tokenizer, None, "你好,你是谁?", generation_config,
    history=None, return_history=True)

response, history = model.chat(
    tokenizer, None, "给我讲个小故事", generation_config,
    history=history, return_history=True)

2. 单图多轮对话(边看图边追问)

先用官方 load_image 工具函数把图片转成动态分辨率的 tile 张量(完整实现见 README.md 的 Quick Start 部分),然后第一轮带上 <image> 占位符:

pixel_values = load_image("photo.jpg", max_num=12).to(torch.bfloat16).cuda()

# 第一轮:看图
response, history = model.chat(
    tokenizer, pixel_values,
    "<image>\n请详细描述这张图片", generation_config,
    history=None, return_history=True)

# 第二轮:继续追问,图片会自动保留在上下文中
response, history = model.chat(
    tokenizer, pixel_values,
    "根据这张图片写一首诗", generation_config,
    history=history, return_history=True)

💡 追问时不需要重新描述图片,模型基于 history 里的 <image> 标记仍能"看见"它。

五、多图理解:两种喂图姿势

多图场景有两种组织方式,选哪种取决于你的提问粒度。

方式 A:拼接图像(当作"一张大图")

把多张图片的 tile 直接 torch.cat,只放一个 <image> 占位符。适合让模型整体感知画面内容:

pv1 = load_image("img1.jpg", max_num=12).to(torch.bfloat16).cuda()
pv2 = load_image("img2.jpg", max_num=12).to(torch.bfloat16).cuda()
pixel_values = torch.cat((pv1, pv2), dim=0)

question = "<image>\n请详细描述这两张图片"
response, history = model.chat(
    tokenizer, pixel_values, question, generation_config,
    history=None, return_history=True)

# 多轮追问:相似度对比
response, history = model.chat(
    tokenizer, pixel_values,
    "这两张图的异同点是什么?", generation_config,
    history=history, return_history=True)

方式 B:独立图像(一张图一个占位符)

图片较多或需要精确指代"第几张图"时,用 Image-1 / Image-2 编号,并传入 num_patches_list 告诉模型每张图各有多少个 tile:

num_patches_list = [pv1.size(0), pv2.size(0)]

question = "Image-1: <image>\nImage-2: <image>\n分别描述这两张图"
response, history = model.chat(
    tokenizer, pixel_values, question, generation_config,
    num_patches_list=num_patches_list,
    history=None, return_history=True)

⚠️ 注意:多轮追问时 num_patches_list 要每轮都传;另外批量接口 batch_chat 不支持多轮(实现见 modeling_internvl_chat.py),批量场景请自行循环调用 chat。

六、视频理解:抽帧 + 多轮追问

视频理解本质是"抽帧 → 每帧当一张图 → 编号拼接"。官方用 decord 按时间段均匀抽帧(load_video 函数完整实现见 README.md):

# 均匀抽取 8 帧
pixel_values, num_patches_list = load_video(
    "video.mp4", num_segments=8, max_num=1)
pixel_values = pixel_values.to(torch.bfloat16).cuda()

# 每帧一个编号占位符:Frame1: <image>\nFrame2: <image>\n...
video_prefix = "".join(f"Frame{i+1}: <image>\n" for i in range(len(num_patches_list)))
question = video_prefix + "视频里的红熊猫在做什么?"

response, history = model.chat(
    tokenizer, pixel_values, question, generation_config,
    num_patches_list=num_patches_list, history=None, return_history=True)

# 第二轮:继续追问视频内容
response, history = model.chat(
    tokenizer, pixel_values, "请详细复述整个视频内容", generation_config,
    num_patches_list=num_patches_list, history=history, return_history=True)

🎬 调参经验:num_segments 控制抽帧数量,短视频用 8 帧够用,长视频可加到 32;max_num 控制每帧最多切几个 tile,帧数越多建议保持 max_num=1 以控制显存。

七、进阶技巧:Thinking 模式与流式输出

开启 Thinking 深度思考模式

遇到数学、图表推理等复杂任务时,设置系统提示词可让模型先"思考"再回答(官方推荐此时 do_sample=True、temperature=0.6 以避免重复):

model.system_message = R1_SYSTEM_PROMPT  # 官方提供的思考模式系统提示词
generation_config = dict(max_new_tokens=4096, do_sample=True, temperature=0.6)

流式输出(打字机效果)

用 TextIteratorStreamer 把 model.chat 放进子线程,主线程即可逐段打印回答,示例代码见 README.md 的 Streaming Output 章节。

八、常见问题 FAQ

Q1:显存不够怎么办? 可尝试 8-bit 量化加载(load_in_8bit=True),或换用更小的 InternVL3_5-8B / 14B 版本,API 完全一致。

Q2:<image> 占位符忘了写会报错吗? 不用手写也没关系——首轮对话若 pixel_values 非空且问题里没有 <image>,chat 会自动在开头补上(逻辑见 modeling_internvl_chat.py);但多图/视频的多占位符场景必须自己写全。

Q3:MPO 版本和 Instruct 版本选哪个? -Instruct 只做了 SFT;-MPO 额外完成离线偏好优化,回答风格更贴合人类偏好;无后缀版本则完成了完整的 CascadeRL(MPO + 在线 GSPO)训练,推理能力最强。研究对比实验时三者都值得试试。

Q4:支持哪些输入格式? 图片用 Pillow 打开即可(jpg/png 等);视频用 decord 读取(mp4 等常见格式)。纯文本不传 pixel_values 即可。

写在最后

掌握 chat() 的 history / num_patches_list 这两个核心参数,你就已经打通了 InternVL3_5-38B-MPO 的单图问答 → 多图对比 → 视频理解 → 多轮追问全流程。接下来可以试着把本教程的示例接上自己的图片与视频,体验 38B 级多模态大模型的完整能力吧 🚀

登录后查看全文
InternVL3_5-38B-MPO