从16帧到视频问答:InternVL2-26B 视频理解完整实战指南
从16帧到视频问答:InternVL2-26B 视频理解完整实战指南
🎬 InternVL2-26B 是上海 AI Lab 开源的 25.5B 参数多模态大语言模型,凭借强大的视频理解能力,它能从一段视频的 16 帧采样中直接完成视频问答(Video QA),回答"视频里发生了什么"这类问题。本文将手把手带你从零搭建环境、加载模型,到写出第一个视频问答应用,帮助你快速掌握 InternVL2-26B 的视频理解实战技巧。
为什么选择 InternVL2-26B 做视频理解?
对于新手来说,挑选一个"开箱即用"的视频理解模型很关键。InternVL2-26B 有三大优势:
| 优势 | 说明 |
|---|---|
| 🚀 开箱即用 | 基于 transformers 一行代码加载,无需复杂部署 |
| 🎞️ 视频原生支持 | 官方提供 load_video 采样逻辑,16 帧即可理解视频 |
| 📈 性能领先 | 开源模型中视频理解成绩第一梯队,MVBench 达 67.5 |
在官方视频基准测试中,InternVL2-26B 表现亮眼(每段视频抽取 16 帧,每帧缩放至 448×448):
| 基准 | InternVL2-26B | 说明 |
|---|---|---|
| MVBench | 67.5 | 综合视频理解 |
| Video-MME(带字幕) | 57.1 | 长视频多模态评测 |
| MMBench-Video (16f) | 1.41 | 16 帧问答 |
💡 核心思路:InternVL2-26B 本身是"看图说话"的模型。所谓视频理解,就是把视频均匀抽成若干帧图片,再把这些帧当成一组图片喂给模型提问。理解了这一点,视频问答就不再神秘。
示例视频素材来自仓库 examples/red-panda.mp4,上图即其单帧截图(examples/image1.jpg)。
模型架构:视频帧是如何被"看懂"的
InternVL2-26B 由三部分拼接而成,理解了结构,才知道每一帧图片经过了什么处理:
- 视觉编码器 —— modeling_intern_vit.py:
InternViT-6B负责把每帧图片转成视觉特征(448×448 输入)。 - MLP 投影器 —— 把视觉特征对齐到语言空间。
- 语言模型 —— modeling_internlm2.py:
internlm2-chat-20b负责组织语言、生成回答。
三者封装在 modeling_internvl_chat.py 中,对外只暴露了一个 chat() 方法(见 chat 方法定义),对话模板则定义在 conversation.py。配置细节可参考 config.json 与 preprocessor_config.json。
视频 → 均匀采样 16 帧 → 每帧 448×448 → ViT 视觉特征 → MLP → LLM → 文本回答
环境准备与模型加载
一键安装依赖
模型依赖 transformers>=4.37.2、视频解码库 decord:
pip install "transformers>=4.37.2" decord
加载 InternVL2-26B 模型
单卡(80G 显存)可整卡加载;显存不足时使用 8-bit 量化或多卡。以下是最常用的 bf16 加载方式:
import torch
from transformers import AutoModel, AutoTokenizer
path = "OpenGVLab/InternVL2-26B"
model = AutoModel.from_pretrained(
path,
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
use_flash_attn=True,
trust_remote_code=True).eval().cuda()
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)
⚠️ 新手避坑:显存 < 80G 时,请改用
load_in_8bit=True量化,或使用多卡device_map方案(详见 README.md 的 "Multiple GPUs" 一节)。
从16帧采样到视频问答:核心代码讲解
这一节是全文重点。视频理解只需三步:采样 → 构造提示 → 提问。
第 1 步:均匀采样 16 帧
load_video 会用 decord 读取视频,按 num_segments 参数等间隔抽取帧。基准测试常用 16 帧,示例用 8 帧,你只需改这一个数字:
import numpy as np, torch
from decord import VideoReader, cpu
from PIL import Image
def load_video(video_path, input_size=448, max_num=1, num_segments=16):
vr = VideoReader(video_path, ctx=cpu(0), num_threads=1)
max_frame = len(vr) - 1
fps = float(vr.get_avg_fps())
# 在 [0, max_frame] 区间均匀取 num_segments 个索引
seg_size = float(max_frame) / num_segments
frame_indices = np.array([int(seg_size / 2 + seg_size * i)
for i in range(num_segments)])
pixel_values_list, num_patches_list = [], []
for idx in frame_indices:
img = Image.fromarray(vr[idx].asnumpy()).convert('RGB')
# 此处对单帧做 resize + 归一化(完整实现见 README 的 build_transform / dynamic_preprocess)
...
return pixel_values, num_patches_list
🔑 关键参数:
num_segments=16就是"16 帧"。帧数越多理解越细,但显存与耗时同步上升;一般短视频 8~16 帧足够。
第 2 步:构造视频问答提示
把每一帧都标记为 <image>,并加上 Frame1、Frame2 前缀,让模型知道帧的顺序,最后附上你的问题:
pixel_values, num_patches_list = load_video('./examples/red-panda.mp4', num_segments=16)
pixel_values = pixel_values.to(torch.bfloat16).cuda()
# 生成 Frame1: <image>\nFrame2: <image>\n ... Frame16: <image>\n
video_prefix = ''.join([f'Frame{i+1}: <image>\n' for i in range(len(num_patches_list))])
question = video_prefix + 'What is the red panda doing?'
第 3 步:发起视频问答
调用 chat(),并通过 num_patches_list 告诉模型"每帧对应多少图片块",即可拿到回答:
generation_config = dict(max_new_tokens=1024, do_sample=True)
response, history = model.chat(
tokenizer, pixel_values, question, generation_config,
num_patches_list=num_patches_list,
history=None, return_history=True)
print(response)
🎉 至此你已经完成了第一个视频问答:模型会基于 16 帧画面,描述出"红熊猫趴在木架上休息"等视频内容。
多轮视频对话
视频问答最实用的场景是追问。只需把上一轮返回的 history 传入下一轮,就能像聊天一样深挖视频细节:
question = 'Describe this video in detail.'
response, history = model.chat(
tokenizer, pixel_values, question, generation_config,
num_patches_list=num_patches_list,
history=history, return_history=True) # 复用同一 history 即可多轮
进阶技巧与常见问题
- 想更精准地看某一段? 使用
load_video的bound=(start, end)参数指定秒级区间,只在片段内采样。 - 想流式输出? 通过
transformers的TextIteratorStreamer包装model.chat,回答会逐字打印(见 README.md 的 "Streaming Output")。 - 帧数怎么选? 短视频 8 帧起步,长视频或动作密集场景加到 16~32 帧;注意帧数↑ = 显存↑。
- 显存不够怎么办? 优先
load_in_8bit=True,或按层拆分到多卡(device_map)。 - 多图/视频混合? 模型同样支持多轮多图对话,
<image>占位符数量要和传入的图片块一一对应。
项目文件速查
| 文件 | 作用 |
|---|---|
| modeling_internvl_chat.py | 对话主模型,chat / batch_chat 入口 |
| modeling_intern_vit.py | 视觉编码器 InternViT-6B |
| modeling_internlm2.py | 语言模型 InternLM2-20B |
| conversation.py | 对话模板定义 |
| examples/image1.jpg | 单帧示例图片 |
| examples/red-panda.mp4 | 视频理解示例视频 |
| README.md | 完整代码与部署说明 |
写在最后
从"16 帧"到"视频问答",InternVL2-26B 把复杂的视频理解简化成了 采样 → 提示 → 提问 三步。你只需要一段视频、一个 NVIDIA 显卡和几行 Python,就能让开源多模态大模型看懂视频内容。建议从 8 帧跑通全流程,再逐步把 num_segments 调到 16 帧,体会精度与显存的平衡——这就是视频理解实战的全部心法。🚀
