InternVL3-1B-Pretrained 视频理解教程:从抽帧预处理到多轮问答的完整流程
InternVL3-1B-Pretrained 视频理解教程:从抽帧预处理到多轮问答的完整流程
InternVL3-1B-Pretrained 是 OpenGVLab 开源的轻量级多模态大语言模型(MLLM)预训练版本,由 InternViT 视觉编码器 + Qwen2.5-0.5B 语言模型组成。本教程带你走通 InternVL3 视频理解的完整流程:视频抽帧预处理、动态分辨率切块、num_patches_list 对齐,最终实现流畅的视频多轮问答。
📌 注意:本项目是预训练版本(仅完成原生多模态预训练,未做 SFT/MPO 后训练)。若追求最佳问答效果,建议直接使用官方 InternVL3-1B 完整版本;本教程的流程对两者完全通用。
一、1B 小模型能看懂视频吗?
InternVL3 延续了 "ViT–MLP–LLM" 经典架构,并引入了两项对视频理解很关键的能力:
- 动态分辨率:图像/视频帧会被切成 448×448 像素的 tile(最多 12 块),细节不会被压缩丢失;
- V2PE 变长视觉位置编码:增强了长上下文理解,视频抽帧越多,优势越明显。
模型结构配置可参考 config.json,预处理参数(448 尺寸、归一化均值方差)见 preprocessor_config.json。
下面是仓库自带的示例图片,也是单图推理的测试素材:
二、环境准备:克隆仓库与安装依赖
git clone https://gitcode.com/OpenGVLab/InternVL3-1B-Pretrained
cd InternVL3-1B-Pretrained
核心依赖(transformers>=4.37.2):
pip install "transformers>=4.37.2" torch torchvision timm decord
⚠️
decord用于读取视频并抽帧,是视频理解流程中不可或缺的库。
加载模型只需几行(单卡 1B 模型 8GB 显存即可):
import torch
from transformers import AutoModel, AutoTokenizer
model = AutoModel.from_pretrained(
"OpenGVLab/InternVL3-1B-Pretrained",
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
trust_remote_code=True).eval().cuda()
tokenizer = AutoTokenizer.from_pretrained(
"OpenGVLab/InternVL3-1B-Pretrained", trust_remote_code=True, use_fast=False)
多卡部署的 device_map 写法可直接参考 README.md 中的完整示例。
三、视频抽帧:get_index 均匀采样关键帧
视频不能整段喂给模型,标准做法是均匀抽帧。官方示例用 get_index 函数实现:
def get_index(bound, fps, max_frame, first_idx=0, num_segments=32):
start, end = bound if bound else (-100000, 100000)
start_idx = max(first_idx, round(start * fps))
end_idx = min(round(end * fps), max_frame)
seg_size = float(end_idx - start_idx) / num_segments
return np.array([int(start_idx + seg_size / 2 + np.round(seg_size * idx))
for idx in range(num_segments)])
参数说明(对应官方 视频多轮对话示例):
| 参数 | 含义 | 建议值 |
|---|---|---|
num_segments |
抽取的帧数,视频理解的"信息密度"旋钮 | 8~32 |
bound |
时间区间(秒),截取视频片段时传入,如 (0, 10) |
默认 None |
fps |
视频平均帧率,由 vr.get_avg_fps() 获取 |
自动 |
采样策略取每段的中点帧(seg_size / 2 偏移),保证首尾时段都被覆盖,不会漏掉开头动作。
四、抽帧预处理:动态分辨率与 num_patches_list
抽出的每一帧都要经过 dynamic_preprocess 切块,再经 build_transform 归一化。理解视频推理,关键是理解 num_patches_list:
def load_video(video_path, bound=None, input_size=448, max_num=1, num_segments=32):
vr = VideoReader(video_path, ctx=cpu(0), num_threads=1)
max_frame = len(vr) - 1
fps = float(vr.get_avg_fps())
frame_indices = get_index(bound, fps, max_frame, first_idx=0,
num_segments=num_segments)
pixel_values_list, num_patches_list = [], []
for frame_index in frame_indices:
img = Image.fromarray(vr[frame_index].asnumpy()).convert('RGB')
img = dynamic_preprocess(img, image_size=input_size,
use_thumbnail=True, max_num=max_num)
pixel_values = torch.stack([transform(tile) for tile in img])
num_patches_list.append(pixel_values.shape[0])
pixel_values_list.append(pixel_values)
return torch.cat(pixel_values_list), num_patches_list
🧩 为什么要记 num_patches_list?
每一帧经过动态分辨率后切出的 tile 数量可能不同(1 帧 1 块,高清帧 2~12 块 + 1 缩略图)。num_patches_list 记录每一帧占多少个视觉块,模型推理时靠它把视觉 token 精确对齐到对应的 Frame1: <image> 占位符上——对齐错帧,回答就会"张冠李戴"。
常用预处理参数:
| 参数 | 作用 | 调优方向 |
|---|---|---|
num_segments |
抽帧数量 | 长视频可适当降到 8~16 省显存 |
max_num |
单帧最大切块数 | 默认 1 即可,细节密集场景可调到 4+ |
bound |
截取视频片段 | 只分析局部事件时使用 |
input_size |
tile 边长(像素) | 固定 448,勿改 |
五、视频多轮问答:history 的正确传法
对齐完成后,把每一帧的占位符拼进问题,首轮调用 model.chat:
pixel_values, num_patches_list = load_video('./examples/red-panda.mp4',
num_segments=8, max_num=1)
pixel_values = pixel_values.to(torch.bfloat16).cuda()
video_prefix = ''.join([f'Frame{i+1}: <image>\n'
for i in range(len(num_patches_list))])
question = video_prefix + 'What is the red panda doing?'
response, history = model.chat(
tokenizer, pixel_values, question, generation_config,
num_patches_list=num_patches_list,
history=None, return_history=True)
第二轮追问时,无需重新传入视频,只要把 history 继续传回,模型即可基于前文上下文回答:
question = 'Describe this video in detail.'
response, history = model.chat(
tokenizer, pixel_values, question, generation_config,
num_patches_list=num_patches_list,
history=history, return_history=True)
💡 history 由 return_history=True 返回,内部是角色/消息列表(对话模板定义在 conversation.py);chat 方法的完整实现见 modeling_internvl_chat.py。
示例中的 examples/red-panda.mp4 为官方演示视频,可替换为你自己的 mp4 文件,抽帧代码无需任何修改。
六、常见问题与调优建议
Q1:显存不够 / 推理太慢?
降低 num_segments(如 32 → 8),或保持 max_num=1。帧数是视觉 token 数量最大的来源。
Q2:回答与画面内容对不上?
检查两处:FrameN: <image> 占位符个数必须等于 len(num_patches_list);多轮时 num_patches_list 每轮都要原样传入。
Q3:输出质量偏"学术腔"、指令遵循一般? 这正是 Pretrained 版的特征——它更适合做视觉编码、微调底模等下游任务;日常问答请切换到完成 SFT/MPO 的 InternVL3-1B 完整版。
Q4:只关心视频某一段?
用 bound=(start_sec, end_sec) 截取片段再抽帧,避免无关帧稀释注意力。
七、仓库文件导览
| 文件 | 说明 |
|---|---|
| modeling_internvl_chat.py | chat / batch_chat 多轮对话核心实现 |
| modeling_intern_vit.py | InternViT 视觉编码器 |
| conversation.py | 对话模板(internvl2_5 模板) |
| config.json | 模型架构与动态分辨率配置 |
| README.md | 官方视频多轮对话完整示例代码 |
| examples/ | 示例图片与演示视频 |
🎬 到这里,你已掌握 InternVL3 视频理解的完整链路:抽帧 → 动态分辨率预处理 → num_patches_list 对齐 → 多轮问答。从 8 帧快速问答到 32 帧细粒度分析,只需调节一个参数即可。
