InternVideo2-Stage1-1B-224p-K700 生态全景:OpenGVLab 代码库、社区支持与论文引用完全指南

原创2026-10-17 16:09:041,876 阅读

InternVideo2-Stage1-1B-224p-K700 生态全景:OpenGVLab 代码库、社区支持与论文引用完全指南

InternVideo2-Stage1-1B-224p-K700 是 OpenGVLab 发布的 InternVideo2 视频基础模型(Video Foundation Model) 的官方预训练权重仓库,基于 PyTorch 框架,提供 1B 参数量、224p 输入规格的 Stage1 检查点,帮助开发者快速构建多模态视频理解应用。本文用 5 分钟带你摸清这个仓库的全部文件、下载方式、配套代码库与论文引用方法。

📦 一、仓库是什么:一个纯模型检查点仓库

与多数包含源码的项目不同,InternVideo2-Stage1-1B-224p-K700 仓库不包含任何代码,它只负责托管模型权重和元信息。完整仓库结构如下:

文件 作用 说明
1B_ft_k710_ft_k700_f16.pth 主检查点(约 2.05 GB) f16 输入规格
1B_ft_k710_ft_k700_f8.pth 主检查点(约 2.04 GB) f8 输入规格
configuration.json 模型元信息 框架与任务配置
README.md Model Card 模型来源与论文引用

文件名拆解:一行看懂模型谱系

文件名信息量很大,可以拆成四段理解:

  • 1B —— 模型参数规模约 10 亿(1 Billion)
  • ft_k710 —— 在 Kinetics-710 数据集上微调(fine-tuned)
  • ft_k700 —— 在 Kinetics-700 数据集上继续微调
  • f16 / f8 —— 对应不同的输入视频帧数规格(16 帧 / 8 帧,供推理时按帧长选择)

也就是说,这是 InternVideo2 Stage1 预训练阶段的产物:先做大规模视觉-语言对齐,再针对 Kinetics 动作识别数据集精调,得到对视频动作、时序模式敏感的通用视觉编码器。

⚙️ 二、配置速览:configuration.json 说明了什么

打开 configuration.json 只有一行 JSON,但包含了三个关键信息:

{"framework": "pytorch", "task": "others", "allow_remote": true}
  • framework: pytorch —— 权重以 PyTorch 格式保存,直接用 torch.load 体系即可加载,无需跨框架转换
  • task: others —— 定位为通用基础模型而非某个单一任务模型,适合做下游任务(分类、检索、多模态对齐)的基座
  • allow_remote: true —— 支持远程(LFS)方式拉取权重

⬇️ 三、一键下载完整权重:clone 与 LFS 拉取步骤

两个 .pth 文件约 2 GB,通过 Git LFS 存储。直接 clone 后文件只是占位符(pointer),需要用 LFS 拉取真实权重。

最快下载方法(3 步):

  1. 安装 Git LFS:git lfs install
  2. 克隆仓库:
git clone https://gitcode.com/OpenGVLab/InternVideo2-Stage1-1B-224p-K700
  1. 进入目录拉取完整权重(若 clone 时已自动拉取可跳过):
cd InternVideo2-Stage1-1B-224p-K700
git lfs pull

💡 小提示:README.md 头部带有访问协议(gated)字段,说明权重下载可能需要填写 Name、Organization、Country、E-Mail 信息,并承诺不将模型用于对人类受试者造成伤害的实验。首次下载前请先留意平台提示。

🔗 四、生态全景:如何接入 InternVideo2 官方代码库

本仓库只给"权重",推理与训练代码在 OpenGVLab 的 InternVideo 官方代码库(InternVideo2 子项目)中维护,两者配合使用:

InternVideo2-Stage1-1B-224p-K700(本仓库)      InternVideo 官方代码库
┌─────────────────────────────┐        ┌──────────────────────────┐
│  1B 检查点 ×2(PyTorch 格式)  │ ──────▶ │  模型定义 / 加载 / 推理代码   │
│  configuration.json 元信息   │  权重   │  下游任务示例与数据处理       │
└─────────────────────────────┘        └──────────────────────────┘

典型接入流程:

  1. 从本仓库下载所需检查点(按帧长选 f16 或 f8)
  2. 获取 InternVideo2 官方代码库,按其示例加载模型结构
  3. 用 torch.load 加载本仓库的 .pth 权重,完成 224p 视频输入的多模态理解推理

如果你要做视频分类、视频检索或 VLM 视觉编码器替换,这个 1B 规模 + Kinetics 精调的 Stage1 权重是性价比很高的起点。

📚 五、论文引用:完整 BibTeX 一键复制

README.md 提供了规范的引用信息,模型对应的论文是 《InternVideo2: Scaling Video Foundation Models for Multimodal Video Understanding》(arXiv: 2403.15377),完整 BibTeX 见 README.md。研究引用请同时带上 InternVideo2 与前代 InternVideo 两条记录:

@article{wang2024internvideo2,
  title={InternVideo2: Scaling Video Foundation Models for Multimodal Video Understanding},
  author={Wang, Yi and Li, Kunchang and Li, Xinhao and Yu, Jiashuo and He, Yinan and Chen, Guo and Pei, Baoqi and Zheng, Rongkun and Xu, Jilan and Wang, Zun and others},
  journal={arXiv preprint arXiv:2403.15377},
  year={2024}
}

@article{wang2022internvideo,
  title={InternVideo: General Video Foundation Models via Generative and Discriminative Learning},
  author={Wang, Yi and Li, Kunchang and Li, Yizhuo and He, Yinan and Huang, Bingkun and Zhao, Zhiyu and Zhang, Hongjie and Xu, Jilan and Liu, Yi and Wang, Zun and Xing, Sen and Chen, Guo and Pan, Junting and Yu, Jiashuo and Wang, Yali and Wang, Limin and Qiao, Yu},
  journal={arXiv preprint arXiv:2212.03191},
  year={2022}
}

🤝 六、社区支持与获取帮助

  • 维护团队:InternVideo Group(上海人工智能实验室 OpenGVLab 团队)
  • 联系邮箱:gvx-sh@pjlab.org.cn(来自 README.md 的 Point of Contact)
  • 开源协议:Apache-2.0(见 README.md 头部元信息),可自由用于研究与商用
  • 社区反馈:建议通过 InternVideo 官方代码库的 Issues 渠道提问,或邮件联系维护团队

✅ 总结:新人上手清单

  • [x] 确认需求:通用视频基础模型 → 选本仓库的 Stage1 1B 权重
  • [x] 安装 Git LFS 并 clone 拉取完整 .pth 权重
  • [x] 按输入帧长选择 f16 或 f8 检查点
  • [x] 搭配 InternVideo2 官方代码库完成加载与推理
  • [x] 论文中正确引用两条 BibTeX

掌握以上几点,你就可以把这个 1B 视频基础模型快速接入自己的多模态视频理解项目了 🎬

登录后查看全文
InternVideo2-Stage1-1B-224p-K700