如何提取高质量视频特征:InternVideo2-Stage2_6B 的 get_vid_feat 详解
如何提取高质量视频特征:InternVideo2-Stage2_6B 的 get_vid_feat 详解
想要从视频中提取高质量的视频特征吗?InternVideo2-Stage2_6B 提供的 get_vid_feat 方法可以一步到位:输入几帧画面,输出一段已经与文本对齐、可直接用于视频-文本检索和视频分类的特征向量。本文用通俗的方式带你搞懂它的原理、调用方式和几个决定特征质量的关键参数。
一、InternVideo2-Stage2_6B 是什么?
InternVideo2-Stage2_6B 是 InternVideo2 论文中 Stage 2 阶段的 60 亿参数多模态模型,擅长把视频和文本放进同一个语义空间——视频和描述它的文字,它们的特征向量会靠得很近。
模型由两部分组成:
| 组件 | 说明 | 配置来源 |
|---|---|---|
| 视觉编码器 | pretrain_internvideo2_6b_patch14_224,14×14 patch、224 分辨率 |
config.json |
| 文本编码器 | BERT-large(1024 维) | config.json |
| 投影层 | 视频/文本分别投影到 512 维共享空间 | config.json |
这个仓库直接提供了模型权重(model-00001-of-00013.safetensors 等 13 个分片)和核心源码 modeling_internvideo2.py,用 HuggingFace AutoModel 即可加载。
二、get_vid_feat 做了什么?三步走
get_vid_feat 的完整实现在 modeling_internvideo2.py 中,逻辑非常清晰,只做三件事:
- 编码视频:
encode_vision(frames, test=True)把视频帧送入 6B 视觉编码器,得到pooled_vision_embeds(整个视频池化后的表示); - 投影对齐:
vision_proj把特征映射到 512 维的共享空间,与文本特征(get_txt_feat的输出)在同一空间内可比; - L2 归一化:
vfeat /= vfeat.norm(...),保证输出是单位向量,直接用余弦相似度(即点积)衡量视频与文本的匹配程度。
# 核心逻辑(简化自源码)
with torch.no_grad():
_, vfeat = self.encode_vision(frames, test=True) # 编码
vfeat = self.vision_proj(vfeat) # 投影
vfeat /= vfeat.norm(dim=-1, keepdim=True) # 归一化
return vfeat
💡 注意整个过程包在
torch.no_grad()中,推理时自动省显存;而且输入帧数T=1时会自动按图片处理(见 encode_vision),所以它同样适合提取单图特征。
三、如何准备输入:用 vid2tensor 生成视频张量
get_vid_feat 接收的不是视频文件,而是一个形状为 <a href="https://link.gitcode.com/i/87c3091179bd9c87f563ccfee057590a" target="_blank">B, T, C, H, W](batch、帧数、通道、高、宽)的张量。仓库已经封装好了现成的数据准备工具 [vid2tensor,它内部完成三件事:
| 步骤 | 函数 | 作用 |
|---|---|---|
| 逐帧读取 | _frame_from_video | 用 OpenCV 把视频读成一帧帧图像 |
| 均匀抽帧 | frames2tensor | 从全部帧中等间隔抽取 fnum 帧 |
| 缩放 + 归一化 | frames2tensor | 缩放到 224×224,并用均值 [0.485, 0.456, 0.406]、标准差 [0.229, 0.224, 0.225] 归一化像素 |
这正是"高质量"的第一道保障:抽帧、缩放、归一化全部和训练时保持一致,你不需要手写任何预处理代码。
四、完整调用示例:5 行代码提取特征
官方演示 demo.py 展示了标准用法,提取视频特征部分只有两行:
import cv2
from transformers import AutoModel
from modeling_internvideo2 import retrieve_text, vid2tensor, _frame_from_video
model = AutoModel.from_pretrained("OpenGVLab/InternVideo2-Stage2_6B", trust_remote_code=True).eval()
vidtensor = vid2tensor('example1.mp4', fnum=4) # 视频 → 张量
feat = model.get_vid_feat(vidtensor) # 张量 → 高质量特征
仓库中的 example1.mp4 是一段雪景视频,你可以直接用它跑通流程。如果想验证特征质量,demo.py 前半部分用 retrieve_text 做了视频-文本检索:模型会为视频选出最匹配的描述句并给出概率分数——如果选对了,说明你提取的特征是"高质量"的。完整流程参考 README.md。
五、决定特征质量的 4 个关键参数
| 参数 | 推荐值 | 为什么 |
|---|---|---|
fnum(抽帧数) |
4 | 模型训练时就是 4 帧输入(config.json 中 num_frames: 4),帧数偏离训练设置会拉低特征质量 |
target_size(分辨率) |
(224, 224) | 与 img_size: 224 保持一致,随意改尺寸会影响位置编码 |
| 抽帧策略 | 均匀抽帧 | vid2tensor 默认等间隔抽帧,对长视频最稳健 |
| 归一化 | 交给 frames2tensor |
均值/标准差已内置,手动重复归一化反而出错 |
几个容易踩的坑:
- 帧数不足:
frames2tensor要求视频帧数 ≥fnum,短视频请调小fnum; - 设备选择:
vid2tensor默认输出到cuda,纯 CPU 环境请显式传device=torch.device('cpu'); - 批量提取:多段视频可以沿 batch 维堆叠成
[B, T, C, H, W]一次编码,效率更高。
六、特征怎么用:和文本特征算相似度
提取出的 512 维特征,最直接的用途是视频-文本检索。文本侧用 get_txt_feat(modeling_internvideo2.py)得到同样归一化的文本向量,然后:
probs, idxs = model.predict_label(vid_feat, text_feats_tensor, top=5) # 取 Top-5 匹配
底层就是矩阵乘法 + softmax(predict_label)——因为两个向量都已 L2 归一化,点积等价于余弦相似度。除了检索,这段特征向量还可以:
- 作为视频分类的输入特征,接一个轻量分类头;
- 做视频去重/相似视频搜索(向量间余弦相似度);
- 作为下游多模态模型的视觉输入。
七、小结
get_vid_feat= 视觉编码 + 跨模态投影 + L2 归一化,输出"开箱即用"的高质量视频特征;- 配合
vid2tensor预处理,抽帧、缩放、归一化全部与训练对齐; - 记住推荐配置:4 帧 + 224×224,即可复现最佳特征质量;
- 提取的特征与文本特征共享 512 维空间,可直接用于检索、分类、去重等任务。
现在打开 demo.py,用仓库自带的 example1.mp4 跑一遍,你就能亲手拿到第一段高质量视频特征了。