VideoChat2 推理代码深度剖析:从 Ask-Anything 仓库看懂视频理解管线的 4 个关键步骤
VideoChat2 推理代码深度剖析:从 Ask-Anything 仓库看懂视频理解管线的 4 个关键步骤
VideoChat2 是由 OpenGVLab 推出的视频理解大模型,Mistral-7B 版 Stage2 检查点让普通用户也能跑通"视频问答"(Video QA)推理。本文带你从 Ask-Anything 仓库的推理代码出发,用 4 个关键步骤看懂 VideoChat2 视频理解管线的完整数据流:抽帧 → 图像预处理 → Q-Former 视觉压缩 → Mistral-7B 文本生成,并告诉你本仓库模型文件的正确用法。
1. 先认识本仓库:这是一份 Stage2 模型卡
当前仓库是一个模型权重仓库,核心内容只有三样:
| 文件 | 作用 |
|---|---|
| README.md | Model Card,包含模型来源(Ask-Anything 仓库的 video_chat22 目录)与论文引用信息 |
| videochat2_mistral_7b_stage2.pth | VideoChat2 Stage2 检查点(约 1.5GB,通过 Git LFS 存储,见 .gitattributes) |
| configuration.json | 平台元信息:framework: pytorch、allow_remote: true |
这里要特别注意 stage2 与 stage3 的区别:
- Stage2:视觉对齐阶段产物,ViT 视觉编码器与 LLM 已对齐,适合理解"视频内容 + 简单问答";
- Stage3:在 Stage2 基础上用高质量视频-文本对话数据做过指令微调(SFT),对话与推理能力更强,日常使用优先推荐 Stage3 检查点。
2. 关键步骤一:视频加载与均匀抽帧
推理入口在 Ask-Anything 仓库的 video_chat22/inference.py,管线第一步是把视频"打散"成若干帧:
- 用视频解码器(decord)读取输入视频;
- 在时间轴上均匀采样 16 帧(VideoChat2 默认配置),兼顾时序信息与显存开销;
- 对每帧做基础解码与解码帧索引对齐,输出
T × H × W × 3的帧序列。
💡 为什么要均匀抽帧?视频理解模型不直接"看"整个视频文件,而是靠一组代表帧理解画面内容。16 帧是效果与成本的平衡点,代码中可通过帧数参数调整。
3. 关键步骤二:图像预处理与视觉编码
抽出的每一帧都会走标准的视觉编码流程(对应 video_chat22/models/eva_vit.py 中的 ViT 实现):
- Resize:将帧缩放到固定输入分辨率,VideoChat2 支持最高 720p,比早期模型分辨率更高,细节保留更好;
- Normalize:用 ImageNet 均值/方差做像素归一化;
- ViT 编码:InternViT 将每帧切分成 256 个 patch,得到每帧 257 个视觉 token(含 CLS token)。
这一步结束后,16 帧视频就变成了一组"视觉特征",但 token 数量对语言模型来说还太多——引出下一步。
4. 关键步骤三:Q-Former 把视觉特征压缩成 256 个 token
这是 VideoChat2 管线的灵魂,实现在 video_chat22/models/qformer2.py 中:
- 输入:所有帧的 ViT 特征(16 帧 × 257 token,数量庞大);
- Q-Former 用一组可学习的 visual prompt 通过交叉注意力从视频特征中"抽取"信息;
- 输出:固定 256 个 visual token,与视频长短无关。
这个"定长压缩"设计带来了两个好处:
- 语言模型看到的视觉 token 数量恒定,显存可控;
- 无论输入 16 帧还是多组图像,后续生成流程都一致,天然支持多图像输入。
5. 关键步骤四:Mistral-7B 生成最终回答
最后的语言模型阶段(video_chat22/models/videochat2.py 中的 VideoChat2Model):
- 模板组装:将对话 prompt(含用户提问文本)编码为 LLM 输入;
- visual token 拼接:256 个视觉 token 插入到提问之后,作为"视频内容"被语言模型"看到";
- Mistral-7B 逐 token 自回归生成,直到输出结束符,得到自然语言回答。
至此 4 个步骤串成完整管线:
视频 → 16 帧采样 → ViT 特征 → Q-Former 压缩 256 token → Mistral-7B 生成回答
6. 如何获取并加载本检查点
git clone https://gitcode.com/OpenGVLab/VideoChat2_stage2_Mistral_7B
克隆后 videochat2_mistral_7b_stage2.pth 会由 Git LFS 拉取完整权重(约 1.5GB),然后在 Ask-Anything 仓库中通过推理脚本的 --model_path 参数指向该 .pth 文件即可。相关论文引用信息可直接复制到你的论文中,见 README.md 的 Citation 部分。
7. 常见问题(FAQ)
Q1:为什么生成的回答不太像"对话"? 本仓库是 Stage2 检查点,只完成了视觉对齐,还没做对话 SFT。想要更自然的问答体验,请换用 Stage3 检查点。
Q2:显存不够怎么办? 推理时降低抽帧数与输入分辨率即可;Q-Former 已将视觉 token 固定压缩到 256 个,显存大头在 Mistral-7B 本身(BF16 约 14GB)。
Q3:能支持长视频吗? 均匀抽帧机制对时长不敏感,长视频同样只取 16 帧代表画面;但过快发生的动作可能落在采样点之外,这是所有抽帧式视频理解模型的共同取舍。
小结:VideoChat2 的视频理解管线可以记成一句话——抽 16 帧、ViT 提特征、Q-Former 压成 256 个视觉 token、Mistral-7B 出答案。本仓库提供的 Stage2 检查点正是这条管线中"视觉-语言对齐"的关键资产,理解这 4 个步骤后,你就能自如地在 Ask-Anything 中完成推理与二次开发。