VideoMAEv2-giant入门指南:一文看懂CVPR23论文走来的视频基础大模型
VideoMAEv2-giant入门指南:一文看懂CVPR23论文走来的视频基础大模型
VideoMAEv2-giant 是一个来自 CVPR 2023 论文的视频基础大模型,以自监督掩码自编码(Masked Autoencoder)方式在 UnlabeledHybrid-1M 数据集上训练 1200 个 epoch,是目前开源视频理解领域最强的视频特征提取器之一。本文将带你快速理解它的原理、仓库结构和上手方法。
📌 什么是 VideoMAEv2-giant?
VideoMAEv2-giant 是 OpenGVLab 团队发布的 VideoMAE V2 系列中最大规模的模型,出自论文《VideoMAE V2: Scaling Video Masked Autoencoders with Dual Masking》(CVPR 2023)。它的设计哲学非常直接:
把模型做大 + 把掩码策略做好 = 更强的视频表征
与第一版 VideoMAE 相比,V2 版本的核心改进是 Dual Masking(双重掩码):
- 时间掩码:在视频的帧维度上随机遮住一部分 token
- 空间掩码:在每一帧内部再随机遮住一部分 token
- 配合轻量化解码器,大幅降低重建开销,让"大模型 + 高掩码率"的训练变得可行
最终模型通过自监督学习,无需任何人工标注,就获得了强大的视频语义理解能力。
🗂 仓库结构一览
整个仓库非常精简,核心文件只有 6 个:
| 文件 | 作用 |
|---|---|
| README.md | 使用说明与论文引用信息 |
| config.json | 模型超参数配置(giant 规格定义) |
| model.safetensors | 预训练权重文件 |
| modeling_videomaev2.py | 模型核心实现(ViT 主干 + Transformer 封装) |
| modeling_config.py | VideoMAEv2Config 自定义配置类 |
| preprocessor_config.json | 视频预处理配置(缩放、归一化参数) |
config.json 中可以看到 giant 模型的"身份证":
embed_dim: 1408—— 隐藏层维度,对应 ViT-g 级别depth: 40—— Transformer 块堆叠 40 层num_heads: 16—— 16 个注意力头patch_size: 14—— 空间 patch 大小(比常见的 16 更细)tubelet_size: 2—— 时间管尺寸,每 2 帧合并为一个时间 tokennum_frames: 16—— 默认输入 16 帧img_size: 224—— 输入分辨率为 224×224
这套规格即经典的 ViT-g/14 结构,参数量约 11 亿级别,是名副其实的"视频基础大模型"。
🔍 模型内部是怎么工作的?
想理解 modeling_videomaev2.py 的实现,只需抓住一条数据流:
16 帧视频 → 3D 卷积切 patch → 正弦位置编码 → 40 层 Transformer → CLS 向量
1️⃣ 时空 Patch 化(PatchEmbed)
模型用一层 3D 卷积把视频切成"时空小方块"(tubelet),时间步长 tubelet_size=2,空间步长 patch_size=14。16 帧 224×224 的视频会被切成 8×16×16 共 2048 个 token,每个 token 投影为 1408 维向量。
2️⃣ 正弦位置编码(Sinusoidal Positional Encoding)
与 BERT 类似,位置信息由固定的正弦/余弦表生成(见 get_sinusoid_encoding_table,modeling_videomaev2.py),可学习性关闭(use_learnable_pos_emb: false),让模型更容易泛化到不同帧数。
3️⃣ 40 层 Transformer 编码
每个 Block 包含标准的多头自注意力(qkv_bias=True)+ MLP 前馈层,还内置了 DropPath(随机深度) 正则化;训练时支持激活重计算(with_cp)来节省显存。
4️⃣ 特征输出
最终取 CLS token 经 LayerNorm 后输出 1408 维全局特征向量(use_mean_pooling: false),这一向量即可作为视频特征的"万能接口",直接接入分类、检索、检测等下游任务。
仓库底部还附带了 small / base / huge / giant 四种规格的构建函数(vit_giant_patch14_224,modeling_videomaev2.py),方便你按硬件条件选择不同规模。
🚀 三步上手:提取视频特征
第一步:准备环境
需要 transformers、torch、numpy,以及代码依赖的 timm(DropPath 等基础层)和 easydict。
第二步:加载模型与预处理器
config.json 中通过 auto_map 声明了自定义的 AutoModel 与 AutoConfig 映射,加载时需 trust_remote_code=True:
from transformers import VideoMAEImageProcessor, AutoModel, AutoConfig
import numpy as np, torch
config = AutoConfig.from_pretrained("OpenGVLab/VideoMAEv2-giant", trust_remote_code=True)
processor = VideoMAEImageProcessor.from_pretrained("OpenGVLab/VideoMAEv2-giant")
model = AutoModel.from_pretrained("OpenGVLab/VideoMAEv2-giant", config=config, trust_remote_code=True)
video = list(np.random.rand(16, 3, 224, 224)) # 16帧、3通道、224x224
inputs = processor(video, return_tensors="pt")
inputs['pixel_values'] = inputs['pixel_values'].permute(0, 2, 1, 3, 4) # B,T,C,H,W → B,C,T,H,W
with torch.no_grad():
outputs = model(**inputs) # 得到视频特征向量
第三步:把特征送入你的任务
outputs 就是 1408 维的特征向量,可以直接:
- 接一个线性层做视频分类(对应
pipeline_tag: video-classification) - 计算余弦相似度做视频检索
- 作为输入喂给大模型做视频问答/描述
⚙️ 预处理细节:输入为什么是 16 帧 224×224?
preprocessor_config.json 定义了标准预处理流程:
| 参数 | 值 | 含义 |
|---|---|---|
do_resize |
true | 自动缩放到 size: 224 |
resample |
2 | 双三次插值(bicubic),细节保留更好 |
do_center_crop |
true | 中心裁剪到正方形 |
image_mean / image_std |
ImageNet 统计量 | 与 ViT 系模型保持一致 |
新手常见的坑:原始输入形状是 B, T, C, H, W(16, 3, 224, 224),而模型期望 B, C, T, H, W,所以代码里有一个 permute(0, 2, 1, 3, 4),漏掉这一步会直接报形状错误。
📊 性能表现速览
根据 CVPR 2023 论文的设定,该模型在多个视频基准上取得了当时领先的自监督表现,例如:
- Kinetics-400 线性探测:刷新大规模自监督模型纪录
- SSv2(SoccerNet):动作识别 SOTA 级别
- UCF101 / HMDB51:高难小数据集同样占优
由于 giant 规格参数量大,训练与推理都需要较强算力,建议:
- 推理:单卡 16GB+ 显存起步,或使用半精度(
model.half()) - 微调:优先"冻结主干 + 线性头"的轻量方案,性价比最高
💬 常见问题(FAQ)
Q1:这个模型能直接输出分类结果吗?
不能。num_classes: 0 表示它只输出特征向量,分类头需要你在下游任务上自己加。
Q2:为什么必须 trust_remote_code=True?
模型类定义在仓库内的 modeling_videomaev2.py 中,由 VideoMAEv2 类封装(modeling_videomaev2.py),AutoModel 需要信任并执行仓库中的远程代码。
Q3:帧数固定是 16 帧吗?
默认 16 帧,由于使用固定正弦位置编码且 tubelet_size=2,可按 2 的倍数调整(如 8 / 16 / 32 帧)。
Q4:引用论文怎么写? README.md 已提供 BibTeX:
@InProceedings{wang2023videomaev2,
author = {Wang, Limin and Huang, Bingkun and Zhao, Zhiyu and Tong, Zhan and He, Yinan and Wang, Yi and Wang, Yali and Qiao, Yu},
title = {VideoMAE V2: Scaling Video Masked Autoencoders With Dual Masking},
booktitle = {CVPR},
year = {2023}
}
🎯 总结
VideoMAEv2-giant 用三个词概括:自监督、大规模、Dual Masking。它不需要标注数据就学会了"看懂视频",输出的 1408 维特征是视频分类、检索、多模态理解等任务的理想底座。上手路径也很清晰:
- 按 preprocessor_config.json 的要求预处理视频(16 帧 / 224×224)
- 用
AutoModel + trust_remote_code加载 model.safetensors 权重 - 取出特征向量,接入你的下游任务
从 CVPR 2023 论文到可运行的开源权重,VideoMAEv2-giant 证明了"把视频 MAE 做大"这条路是走得通的——这也是它被称为视频基础大模型的原因。