探索视频识别的未来：I3D模型在Kinetics上的训练

概览

这款开源项目是Joao Carreira 和 Andrew Zisserman在2017年CVPR会议上发表的论文《Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset》的实践应用。它包含了使用Inception-v1架构的I3D模型，这些模型经过Kinetics数据集的训练。

在论文中，作者展示了如何通过微调这些预训练模型在UCF101和HMDB51这两个标准视频分类数据集上达到最先进的性能。此外，基于I3D的预训练模型还在2017年的Charades挑战赛中拔得头筹。

现在，该项目还包括了一个从零开始训练的rgb输入模型，以及更大的Kinetics-600数据集。

最新更新：Google已开放了他们用于视频预处理的代码，详细信息可在Google的MediaPipe仓库找到相关设置指南。

请注意：这不是一个官方的Google产品。

开始使用

安装与配置

首先，按照Sonnet库的安装说明进行操作。

然后克隆这个项目仓库：

$ git clone https://github.com/deepmind/kinetics-i3d

示例代码运行

使用以下命令运行示例代码：

$ python evaluate_sample.py

默认情况下，该脚本会构建I3D双流模型，加载预训练的I3D检查点，并将一个样例视频通过模型进行处理。样例视频已经过预处理，提供了RGB和Flow的NumPy数组。

脚本将输出logits张量的范数，以及模型预测的前20个Kinetics类及其概率和logit值。如果使用默认参数，输出应该类似于以下内容（数字精度可能会有所不同）：

Norm of logits: 138.468643

Top classes and probabilities
...

运行测试

你可以使用以下命令运行测试：

$ python i3d_test.py

这将检查模型是否能正确构建并产生正确的形状。

更多细节

提供的检查点

默认模型是在ImageNet和Kinetics上预训练的；其他标志允许加载仅在Kinetics上预训练的模型，以及选择RGB或Flow流。multi_evaluate.sh脚本演示了如何运行所有这些组合，并将样本输出保存到out/目录。

在data/checkpoints目录中，包含了四个训练好的检查点。那些仅在Kinetics上训练的模型使用默认的Sonnet/TensorFlow初始化器，而那些在ImageNet上预训练的模型则是通过从2D Inception-v1模型中引导过滤器到3D来初始化的，如论文中所述。重要的是，RGB和Flow流分别进行训练，每个都有softmax分类损失。在测试时，我们通过添加等权重的logits来结合两个流，这在evaluate_sample.py代码中所示。

训练过程

我们使用同步SGD和tf.train.SyncReplicasOptimizer进行训练。对于RGB和Flow流，我们在64个副本上聚合，包括4个备份副本。训练期间，我们使用0.5的dropout并应用BatchNorm，批大小为6。使用的优化器是动量为0.9的SGD，使用1e-7的权重衰减。RGB和Flow模型分别训练115k和155k步，学习率调度如下：

RGB:

• 0 - 97k: 1e-1
• 97k - 108k: 1e-2
• 108k - 115k: 1e-3

Flow:

• 0 - 97k: 1e-1
• 97k - 104.5k: 1e-2
• 104.5k - 115k: 1e-3
• 115k - 140k: 1e-1
• 140k - 150k: 1e-2
• 150k - 155k: 1e-3

因为Flow模型被确定需要更多的训练，在115k步之后又进行了进一步的训练。

样本数据和预处理

在DeepMind Kinetics数据集的发布版中，只包括了YouTube ID和片段的起止时间。在这个样本数据中，我们使用来自UCF101数据集的一个视频，该数据集提供了所有完整的视频。使用的视频是v_CricketShot_g04_c01.mp4，可以从UCF101网站下载。

我们的预处理使用内部库进行，现在已经开源在Google的MediaPipe仓库。具体来说，对于两个流，我们以25帧每秒的速度采样帧。对于Kinetics，我们还会在开始和结束时间剪辑视频。

对于RGB，我们按比例缩放视频，使最短边为256像素，使用双线性插值。像素值随后被重新缩放到-1和1之间。在训练过程中，我们随机选择一个224x224的图像裁剪，而在测试时，我们从视频中选择中心的224x224图像裁剪。因此，提供的.npy文件对于RGB具有形状(1, num_frames, 224, 224, 3)，对应于批次大小为1。

对于Flow流，我们在25帧每秒下采样视频后将其转换为灰度。我们应用类似OpenCV中的这种代码的TV-L1光流算法。像素值被截断在[-20, 20]范围内，然后重缩放到-1和1之间。我们只使用前两个输出维度，并应用与RGB相同的裁剪。因此，提供的.npy文件对于Flow具有形状(1, num_frames, 224, 224, 2)，也对应于批次大小为1。

致谢

感谢Brian Zhang, Joao Carreira, Viorica Patraucean, Diego de Las Casas, Chloe Hillier和Andrew Zisserman对初版发布的帮助。同样也要感谢Kinetics数据集的团队和原始Inception论文的作者，我们的架构和代码都是基于他们的工作。

问题和贡献

要向此存储库作出贡献，你需要首先签署Google的贡献者许可协议（CLA），在CONTRIBUTING.md文件中提供。然后我们将能够接受任何拉取请求，尽管目前并不打算扩展到其他训练模型。

如有任何问题，可以联系“Quo Vadis”论文的作者，他们的电子邮件在论文中列出。

让我们一起探索视频识别的新边界，这个强大的工具正等待你的发现！