InternVideo2-Stage1-1B-224p-f8-MiT实战指南:几行代码提取高质量视频特征

原创2026-10-18 21:54:211,764 阅读

InternVideo2-Stage1-1B-224p-f8-MiT实战指南:几行代码提取高质量视频特征

InternVideo2-Stage1-1B-224p-f8-MiT 是 OpenGVLab 开源的 InternVideo2 系列中的 1B 参数视频基础模型权重仓库,专注于高质量视频特征提取:输入一段视频,输出一个可直接用于检索、分类、相似度计算的向量。本文带你拆解仓库中的每个文件,并给出一条"从下载到出结果"的完整实战路径,几行代码即可上手 🎬

InternVideo2-Stage1-1B-224p-f8-MiT 是什么?

先拆解这个"长名字",每个词都有含义:

名称片段 含义
InternVideo2 上海AI实验室(OpenGVLab)的视频基础模型系列,论文发表于 arXiv 2403.15377
Stage1 第一阶段训练产物,核心目标是学习通用视频表示,适合作为特征提取器
1B 约 10 亿参数,在 GPU 服务器上可流畅推理
224p 输入分辨率 224p,兼顾速度与精度
f8 从视频中均匀采样 8 帧作为输入
MiT 视频编码器采用 MiT(Mixer-Transformer)骨干网络

它定位清晰:不直接输出答案,而是输出高质量的视频特征向量,让下游任务站在"基础模型"的肩膀上。

仓库文件清单:权重、模型卡片与配置

本仓库结构极简,一共只有 3 个文件:

文件 说明
1B_ft_k710_ft_k400_ft_mit_f8.pth PyTorch 权重文件(约 2.04 GB,Git LFS 存储)。文件名透露了训练轨迹:1B 参数规模 → 在 Kinetics-710 上微调(ft_k710)→ 在 Kinetics-400 上微调(ft_k400)→ MiT 骨干(ft_mit)→ 8 帧输入(f8)
README.md 模型卡片(Model Card),包含模型来源、许可协议(Apache-2.0)与引用信息
configuration.json Hub 元信息:"framework": "pytorch",说明该权重为 PyTorch 格式

💡 注意:本仓库是纯权重仓库(.pth 为原始 state dict),实际推理需配合官方开源 InternVideo2 代码库中的模型定义来加载。

最快上手:环境准备与模型下载

1. 克隆仓库(权重通过 Git LFS 分发,建议先安装 git-lfs):

git lfs install
git clone https://gitcode.com/OpenGVLab/InternVideo2-Stage1-1B-224p-f8-MiT

2. 安装依赖(以 PyTorch 环境为例):

pip install torch transformers

显存参考:1B 参数模型用 fp16 推理时,权重本身约 2 GB,一张 8GB 以上显存的 GPU 即可轻松跑动 ⚡

几行代码提取高质量视频特征

核心流程只有三步:加载模型 → 视频预处理(224p / 8 帧)→ 提取特征:

import torch
from transformers import AutoModel

# 1) 加载 InternVideo2-Stage1-1B(224p / 8帧 / MiT 配置),fp16 显存减半
model = AutoModel.from_pretrained(
    "OpenGVLab/InternVideo2-Stage1-1B-224p-f8-MiT",
    torch_dtype=torch.float16,
    low_cpu_mem_usage=True,
)
model.eval()

# 2) 视频预处理:均匀采样 8 帧、缩放到 224p,得到 (8, 3, 224, 224) 张量
video_tensor = preprocess_video(video_path, num_frames=8, size=224)

# 3) 提取高质量视频特征
with torch.inference_mode():
    features = model.get_video_features(pixel_values_videos=video_tensor)

print(features.shape)  # 得到一个可直接用于下游任务的特征向量

说明:若已将本仓库克隆到本地,可将模型来源路径替换为本地目录;具体接口细节以官方开源 InternVideo2 代码库为准。

得到 features 后,一段视频就被"读懂"了——它浓缩了动作、场景与语义信息,是后续一切应用的基础。

提取出的视频特征能做什么?

这个 1B 模型是典型的"视频特征后端",常见玩法:

  1. 🔍 视频检索:把海量视频批量编码成向量入库,再用文本或样例视频做相似度检索
  2. 🏷️ 动作识别 / 视频分类:特征 + 轻量线性层(linear probe)即可快速适配新数据集
  3. 🧩 视频理解大模型的视觉编码:作为 video-LLM 的前端,把视频转成高质量 token 输入
  4. 📊 视频去重与聚类:向量距离直接衡量视频相似度,适合内容平台治理

实用技巧与常见问题

技巧速览

  • 帧数与分辨率:f8/224p 是该变体的默认配置;同系列还有 256p、336p 等更高规格,精度与显存开销成正比,新手建议先用本仓库的 224p 版本
  • 批处理:批量提取特征时注意 batch size,8 帧 × 224p 输入下 fp16 单卡 12GB 可开较大 batch
  • 缓存复用:特征向量可离线算好存成 .pt/.npy,下游任务直接读,避免重复推理

常见问题

问题 原因与解决
克隆后 .pth 只有几百字节 未拉取 LFS 大文件,执行 git lfs pull 即可下载完整 2GB 权重
加载报"找不到 config" 本仓库是纯权重仓库,需配合官方代码库的模型定义(或直接使用官方 Hub 模型 ID)
推理慢 确认已使用 torch_dtype=torch.float16 并开启 torch.inference_mode()

写在最后

InternVideo2-Stage1-1B-224p-f8-MiT 展示了视频基础模型的典型形态:一个 2GB 的权重文件,撑起一整条视频特征提取流水线。无论是做检索、分类还是接入视频大模型,从它开始都能快速见效。

如果你在研究中使用到 InternVideo2,可参考 README.md 中的引用信息:

@article{wang2024internvideo2,
  title={InternVideo2: Scaling Video Foundation Models for Multimodal Video Understanding},
  author={Wang, Yi and Li, Kunchang and Li, Xinhao and others},
  journal={arXiv preprint arXiv:2403.15377},
  year={2024}
}
登录后查看全文
InternVideo2-Stage1-1B-224p-f8-MiT