从16帧到视频问答:InternVL2-26B 视频理解完整实战指南

原创2026-10-18 21:10:291,344 阅读

从16帧到视频问答:InternVL2-26B 视频理解完整实战指南

🎬 InternVL2-26B 是上海 AI Lab 开源的 25.5B 参数多模态大语言模型,凭借强大的视频理解能力,它能从一段视频的 16 帧采样中直接完成视频问答(Video QA),回答"视频里发生了什么"这类问题。本文将手把手带你从零搭建环境、加载模型,到写出第一个视频问答应用,帮助你快速掌握 InternVL2-26B 的视频理解实战技巧。

为什么选择 InternVL2-26B 做视频理解?

对于新手来说,挑选一个"开箱即用"的视频理解模型很关键。InternVL2-26B 有三大优势:

优势 说明
🚀 开箱即用 基于 transformers 一行代码加载,无需复杂部署
🎞️ 视频原生支持 官方提供 load_video 采样逻辑,16 帧即可理解视频
📈 性能领先 开源模型中视频理解成绩第一梯队,MVBench 达 67.5

在官方视频基准测试中,InternVL2-26B 表现亮眼(每段视频抽取 16 帧,每帧缩放至 448×448):

基准 InternVL2-26B 说明
MVBench 67.5 综合视频理解
Video-MME(带字幕) 57.1 长视频多模态评测
MMBench-Video (16f) 1.41 16 帧问答

💡 核心思路:InternVL2-26B 本身是"看图说话"的模型。所谓视频理解,就是把视频均匀抽成若干帧图片,再把这些帧当成一组图片喂给模型提问。理解了这一点,视频问答就不再神秘。

InternVL2-26B 视频理解示例:一只红熊猫趴在木架上

示例视频素材来自仓库 examples/red-panda.mp4,上图即其单帧截图(examples/image1.jpg)。

模型架构:视频帧是如何被"看懂"的

InternVL2-26B 由三部分拼接而成,理解了结构,才知道每一帧图片经过了什么处理:

  1. 视觉编码器 —— modeling_intern_vit.py:InternViT-6B 负责把每帧图片转成视觉特征(448×448 输入)。
  2. MLP 投影器 —— 把视觉特征对齐到语言空间。
  3. 语言模型 —— modeling_internlm2.py:internlm2-chat-20b 负责组织语言、生成回答。

三者封装在 modeling_internvl_chat.py 中,对外只暴露了一个 chat() 方法(见 chat 方法定义),对话模板则定义在 conversation.py。配置细节可参考 config.json 与 preprocessor_config.json。

视频 → 均匀采样 16 帧 → 每帧 448×448 → ViT 视觉特征 → MLP → LLM → 文本回答

环境准备与模型加载

一键安装依赖

模型依赖 transformers>=4.37.2、视频解码库 decord:

pip install "transformers>=4.37.2" decord

加载 InternVL2-26B 模型

单卡(80G 显存)可整卡加载;显存不足时使用 8-bit 量化或多卡。以下是最常用的 bf16 加载方式:

import torch
from transformers import AutoModel, AutoTokenizer

path = "OpenGVLab/InternVL2-26B"
model = AutoModel.from_pretrained(
    path,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True,
    use_flash_attn=True,
    trust_remote_code=True).eval().cuda()

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)

⚠️ 新手避坑:显存 < 80G 时,请改用 load_in_8bit=True 量化,或使用多卡 device_map 方案(详见 README.md 的 "Multiple GPUs" 一节)。

从16帧采样到视频问答:核心代码讲解

这一节是全文重点。视频理解只需三步:采样 → 构造提示 → 提问。

第 1 步:均匀采样 16 帧

load_video 会用 decord 读取视频,按 num_segments 参数等间隔抽取帧。基准测试常用 16 帧,示例用 8 帧,你只需改这一个数字:

import numpy as np, torch
from decord import VideoReader, cpu
from PIL import Image

def load_video(video_path, input_size=448, max_num=1, num_segments=16):
    vr = VideoReader(video_path, ctx=cpu(0), num_threads=1)
    max_frame = len(vr) - 1
    fps = float(vr.get_avg_fps())
    # 在 [0, max_frame] 区间均匀取 num_segments 个索引
    seg_size = float(max_frame) / num_segments
    frame_indices = np.array([int(seg_size / 2 + seg_size * i)
                              for i in range(num_segments)])
    pixel_values_list, num_patches_list = [], []
    for idx in frame_indices:
        img = Image.fromarray(vr[idx].asnumpy()).convert('RGB')
        # 此处对单帧做 resize + 归一化(完整实现见 README 的 build_transform / dynamic_preprocess)
        ...
    return pixel_values, num_patches_list

🔑 关键参数:num_segments=16 就是"16 帧"。帧数越多理解越细,但显存与耗时同步上升;一般短视频 8~16 帧足够。

第 2 步:构造视频问答提示

把每一帧都标记为 <image>,并加上 Frame1、Frame2 前缀,让模型知道帧的顺序,最后附上你的问题:

pixel_values, num_patches_list = load_video('./examples/red-panda.mp4', num_segments=16)
pixel_values = pixel_values.to(torch.bfloat16).cuda()

# 生成 Frame1: <image>\nFrame2: <image>\n ... Frame16: <image>\n
video_prefix = ''.join([f'Frame{i+1}: <image>\n' for i in range(len(num_patches_list))])
question = video_prefix + 'What is the red panda doing?'

第 3 步:发起视频问答

调用 chat(),并通过 num_patches_list 告诉模型"每帧对应多少图片块",即可拿到回答:

generation_config = dict(max_new_tokens=1024, do_sample=True)
response, history = model.chat(
    tokenizer, pixel_values, question, generation_config,
    num_patches_list=num_patches_list,
    history=None, return_history=True)
print(response)

🎉 至此你已经完成了第一个视频问答:模型会基于 16 帧画面,描述出"红熊猫趴在木架上休息"等视频内容。

多轮视频对话

视频问答最实用的场景是追问。只需把上一轮返回的 history 传入下一轮,就能像聊天一样深挖视频细节:

question = 'Describe this video in detail.'
response, history = model.chat(
    tokenizer, pixel_values, question, generation_config,
    num_patches_list=num_patches_list,
    history=history, return_history=True)   # 复用同一 history 即可多轮

进阶技巧与常见问题

  • 想更精准地看某一段? 使用 load_video 的 bound=(start, end) 参数指定秒级区间,只在片段内采样。
  • 想流式输出? 通过 transformers 的 TextIteratorStreamer 包装 model.chat,回答会逐字打印(见 README.md 的 "Streaming Output")。
  • 帧数怎么选? 短视频 8 帧起步,长视频或动作密集场景加到 16~32 帧;注意帧数↑ = 显存↑。
  • 显存不够怎么办? 优先 load_in_8bit=True,或按层拆分到多卡(device_map)。
  • 多图/视频混合? 模型同样支持多轮多图对话,<image> 占位符数量要和传入的图片块一一对应。

项目文件速查

文件 作用
modeling_internvl_chat.py 对话主模型,chat / batch_chat 入口
modeling_intern_vit.py 视觉编码器 InternViT-6B
modeling_internlm2.py 语言模型 InternLM2-20B
conversation.py 对话模板定义
examples/image1.jpg 单帧示例图片
examples/red-panda.mp4 视频理解示例视频
README.md 完整代码与部署说明

写在最后

从"16 帧"到"视频问答",InternVL2-26B 把复杂的视频理解简化成了 采样 → 提示 → 提问 三步。你只需要一段视频、一个 NVIDIA 显卡和几行 Python,就能让开源多模态大模型看懂视频内容。建议从 8 帧跑通全流程,再逐步把 num_segments 调到 16 帧,体会精度与显存的平衡——这就是视频理解实战的全部心法。🚀

登录后查看全文
InternVL2-26B