InternVideo2-Stage1-1B-224p-f8-MiT实战指南:几行代码提取高质量视频特征
InternVideo2-Stage1-1B-224p-f8-MiT实战指南:几行代码提取高质量视频特征
InternVideo2-Stage1-1B-224p-f8-MiT 是 OpenGVLab 开源的 InternVideo2 系列中的 1B 参数视频基础模型权重仓库,专注于高质量视频特征提取:输入一段视频,输出一个可直接用于检索、分类、相似度计算的向量。本文带你拆解仓库中的每个文件,并给出一条"从下载到出结果"的完整实战路径,几行代码即可上手 🎬
InternVideo2-Stage1-1B-224p-f8-MiT 是什么?
先拆解这个"长名字",每个词都有含义:
| 名称片段 | 含义 |
|---|---|
InternVideo2 |
上海AI实验室(OpenGVLab)的视频基础模型系列,论文发表于 arXiv 2403.15377 |
Stage1 |
第一阶段训练产物,核心目标是学习通用视频表示,适合作为特征提取器 |
1B |
约 10 亿参数,在 GPU 服务器上可流畅推理 |
224p |
输入分辨率 224p,兼顾速度与精度 |
f8 |
从视频中均匀采样 8 帧作为输入 |
MiT |
视频编码器采用 MiT(Mixer-Transformer)骨干网络 |
它定位清晰:不直接输出答案,而是输出高质量的视频特征向量,让下游任务站在"基础模型"的肩膀上。
仓库文件清单:权重、模型卡片与配置
本仓库结构极简,一共只有 3 个文件:
| 文件 | 说明 |
|---|---|
| 1B_ft_k710_ft_k400_ft_mit_f8.pth | PyTorch 权重文件(约 2.04 GB,Git LFS 存储)。文件名透露了训练轨迹:1B 参数规模 → 在 Kinetics-710 上微调(ft_k710)→ 在 Kinetics-400 上微调(ft_k400)→ MiT 骨干(ft_mit)→ 8 帧输入(f8) |
| README.md | 模型卡片(Model Card),包含模型来源、许可协议(Apache-2.0)与引用信息 |
| configuration.json | Hub 元信息:"framework": "pytorch",说明该权重为 PyTorch 格式 |
💡 注意:本仓库是纯权重仓库(
.pth为原始 state dict),实际推理需配合官方开源 InternVideo2 代码库中的模型定义来加载。
最快上手:环境准备与模型下载
1. 克隆仓库(权重通过 Git LFS 分发,建议先安装 git-lfs):
git lfs install
git clone https://gitcode.com/OpenGVLab/InternVideo2-Stage1-1B-224p-f8-MiT
2. 安装依赖(以 PyTorch 环境为例):
pip install torch transformers
显存参考:1B 参数模型用 fp16 推理时,权重本身约 2 GB,一张 8GB 以上显存的 GPU 即可轻松跑动 ⚡
几行代码提取高质量视频特征
核心流程只有三步:加载模型 → 视频预处理(224p / 8 帧)→ 提取特征:
import torch
from transformers import AutoModel
# 1) 加载 InternVideo2-Stage1-1B(224p / 8帧 / MiT 配置),fp16 显存减半
model = AutoModel.from_pretrained(
"OpenGVLab/InternVideo2-Stage1-1B-224p-f8-MiT",
torch_dtype=torch.float16,
low_cpu_mem_usage=True,
)
model.eval()
# 2) 视频预处理:均匀采样 8 帧、缩放到 224p,得到 (8, 3, 224, 224) 张量
video_tensor = preprocess_video(video_path, num_frames=8, size=224)
# 3) 提取高质量视频特征
with torch.inference_mode():
features = model.get_video_features(pixel_values_videos=video_tensor)
print(features.shape) # 得到一个可直接用于下游任务的特征向量
说明:若已将本仓库克隆到本地,可将模型来源路径替换为本地目录;具体接口细节以官方开源 InternVideo2 代码库为准。
得到 features 后,一段视频就被"读懂"了——它浓缩了动作、场景与语义信息,是后续一切应用的基础。
提取出的视频特征能做什么?
这个 1B 模型是典型的"视频特征后端",常见玩法:
- 🔍 视频检索:把海量视频批量编码成向量入库,再用文本或样例视频做相似度检索
- 🏷️ 动作识别 / 视频分类:特征 + 轻量线性层(linear probe)即可快速适配新数据集
- 🧩 视频理解大模型的视觉编码:作为 video-LLM 的前端,把视频转成高质量 token 输入
- 📊 视频去重与聚类:向量距离直接衡量视频相似度,适合内容平台治理
实用技巧与常见问题
技巧速览
- 帧数与分辨率:
f8/224p是该变体的默认配置;同系列还有 256p、336p 等更高规格,精度与显存开销成正比,新手建议先用本仓库的 224p 版本 - 批处理:批量提取特征时注意 batch size,8 帧 × 224p 输入下 fp16 单卡 12GB 可开较大 batch
- 缓存复用:特征向量可离线算好存成
.pt/.npy,下游任务直接读,避免重复推理
常见问题
| 问题 | 原因与解决 |
|---|---|
克隆后 .pth 只有几百字节 |
未拉取 LFS 大文件,执行 git lfs pull 即可下载完整 2GB 权重 |
| 加载报"找不到 config" | 本仓库是纯权重仓库,需配合官方代码库的模型定义(或直接使用官方 Hub 模型 ID) |
| 推理慢 | 确认已使用 torch_dtype=torch.float16 并开启 torch.inference_mode() |
写在最后
InternVideo2-Stage1-1B-224p-f8-MiT 展示了视频基础模型的典型形态:一个 2GB 的权重文件,撑起一整条视频特征提取流水线。无论是做检索、分类还是接入视频大模型,从它开始都能快速见效。
如果你在研究中使用到 InternVideo2,可参考 README.md 中的引用信息:
@article{wang2024internvideo2,
title={InternVideo2: Scaling Video Foundation Models for Multimodal Video Understanding},
author={Wang, Yi and Li, Kunchang and Li, Xinhao and others},
journal={arXiv preprint arXiv:2403.15377},
year={2024}
}