如何提取高质量视频特征:InternVideo2-Stage2_6B 的 get_vid_feat 详解

原创2026-10-21 17:56:051,360 阅读

如何提取高质量视频特征:InternVideo2-Stage2_6B 的 get_vid_feat 详解

想要从视频中提取高质量的视频特征吗?InternVideo2-Stage2_6B 提供的 get_vid_feat 方法可以一步到位:输入几帧画面,输出一段已经与文本对齐、可直接用于视频-文本检索和视频分类的特征向量。本文用通俗的方式带你搞懂它的原理、调用方式和几个决定特征质量的关键参数。

一、InternVideo2-Stage2_6B 是什么?

InternVideo2-Stage2_6B 是 InternVideo2 论文中 Stage 2 阶段的 60 亿参数多模态模型,擅长把视频和文本放进同一个语义空间——视频和描述它的文字,它们的特征向量会靠得很近。

模型由两部分组成:

组件 说明 配置来源
视觉编码器 pretrain_internvideo2_6b_patch14_224,14×14 patch、224 分辨率 config.json
文本编码器 BERT-large(1024 维) config.json
投影层 视频/文本分别投影到 512 维共享空间 config.json

这个仓库直接提供了模型权重(model-00001-of-00013.safetensors 等 13 个分片)和核心源码 modeling_internvideo2.py,用 HuggingFace AutoModel 即可加载。

二、get_vid_feat 做了什么?三步走

get_vid_feat 的完整实现在 modeling_internvideo2.py 中,逻辑非常清晰,只做三件事:

  1. 编码视频:encode_vision(frames, test=True) 把视频帧送入 6B 视觉编码器,得到 pooled_vision_embeds(整个视频池化后的表示);
  2. 投影对齐:vision_proj 把特征映射到 512 维的共享空间,与文本特征(get_txt_feat 的输出)在同一空间内可比;
  3. L2 归一化:vfeat /= vfeat.norm(...),保证输出是单位向量,直接用余弦相似度(即点积)衡量视频与文本的匹配程度。
# 核心逻辑(简化自源码)
with torch.no_grad():
    _, vfeat = self.encode_vision(frames, test=True)  # 编码
    vfeat = self.vision_proj(vfeat)                    # 投影
    vfeat /= vfeat.norm(dim=-1, keepdim=True)          # 归一化
return vfeat

💡 注意整个过程包在 torch.no_grad() 中,推理时自动省显存;而且输入帧数 T=1 时会自动按图片处理(见 encode_vision),所以它同样适合提取单图特征。

三、如何准备输入:用 vid2tensor 生成视频张量

get_vid_feat 接收的不是视频文件,而是一个形状为 <a href="https://link.gitcode.com/i/87c3091179bd9c87f563ccfee057590a" target="_blank">B, T, C, H, W](batch、帧数、通道、高、宽)的张量。仓库已经封装好了现成的数据准备工具 [vid2tensor,它内部完成三件事:

步骤 函数 作用
逐帧读取 _frame_from_video 用 OpenCV 把视频读成一帧帧图像
均匀抽帧 frames2tensor 从全部帧中等间隔抽取 fnum 帧
缩放 + 归一化 frames2tensor 缩放到 224×224,并用均值 [0.485, 0.456, 0.406]、标准差 [0.229, 0.224, 0.225] 归一化像素

这正是"高质量"的第一道保障:抽帧、缩放、归一化全部和训练时保持一致,你不需要手写任何预处理代码。

四、完整调用示例:5 行代码提取特征

官方演示 demo.py 展示了标准用法,提取视频特征部分只有两行:

import cv2
from transformers import AutoModel
from modeling_internvideo2 import retrieve_text, vid2tensor, _frame_from_video

model = AutoModel.from_pretrained("OpenGVLab/InternVideo2-Stage2_6B", trust_remote_code=True).eval()

vidtensor = vid2tensor('example1.mp4', fnum=4)   # 视频 → 张量
feat = model.get_vid_feat(vidtensor)              # 张量 → 高质量特征

仓库中的 example1.mp4 是一段雪景视频,你可以直接用它跑通流程。如果想验证特征质量,demo.py 前半部分用 retrieve_text 做了视频-文本检索:模型会为视频选出最匹配的描述句并给出概率分数——如果选对了,说明你提取的特征是"高质量"的。完整流程参考 README.md。

五、决定特征质量的 4 个关键参数

参数 推荐值 为什么
fnum(抽帧数) 4 模型训练时就是 4 帧输入(config.json 中 num_frames: 4),帧数偏离训练设置会拉低特征质量
target_size(分辨率) (224, 224) 与 img_size: 224 保持一致,随意改尺寸会影响位置编码
抽帧策略 均匀抽帧 vid2tensor 默认等间隔抽帧,对长视频最稳健
归一化 交给 frames2tensor 均值/标准差已内置,手动重复归一化反而出错

几个容易踩的坑:

  • 帧数不足:frames2tensor 要求视频帧数 ≥ fnum,短视频请调小 fnum;
  • 设备选择:vid2tensor 默认输出到 cuda,纯 CPU 环境请显式传 device=torch.device('cpu');
  • 批量提取:多段视频可以沿 batch 维堆叠成 [B, T, C, H, W] 一次编码,效率更高。

六、特征怎么用:和文本特征算相似度

提取出的 512 维特征,最直接的用途是视频-文本检索。文本侧用 get_txt_feat(modeling_internvideo2.py)得到同样归一化的文本向量,然后:

probs, idxs = model.predict_label(vid_feat, text_feats_tensor, top=5)  # 取 Top-5 匹配

底层就是矩阵乘法 + softmax(predict_label)——因为两个向量都已 L2 归一化,点积等价于余弦相似度。除了检索,这段特征向量还可以:

  • 作为视频分类的输入特征,接一个轻量分类头;
  • 做视频去重/相似视频搜索(向量间余弦相似度);
  • 作为下游多模态模型的视觉输入。

七、小结

  • get_vid_feat = 视觉编码 + 跨模态投影 + L2 归一化,输出"开箱即用"的高质量视频特征;
  • 配合 vid2tensor 预处理,抽帧、缩放、归一化全部与训练对齐;
  • 记住推荐配置:4 帧 + 224×224,即可复现最佳特征质量;
  • 提取的特征与文本特征共享 512 维空间,可直接用于检索、分类、去重等任务。

现在打开 demo.py,用仓库自带的 example1.mp4 跑一遍,你就能亲手拿到第一段高质量视频特征了。

登录后查看全文
InternVideo2-Stage2_6B