SeLaVi: 从零开始的多模态自监督视频标注项目

1. 项目介绍

SeLaVi（Self-Supervised Labelling of Videos from Scratch）是一个基于深度学习的开源项目，旨在通过多模态自监督学习的方式，对无标签视频数据进行标注。该项目由Facebook Research团队开发，提供了一种高效且简单的方法来学习多模态音视频数据的标签。

SeLaVi的核心贡献包括：

• 即使是非常强大的特征表示，如监督预训练的R(2+1)D-18或MIL-NCE S3D网络，在聚类性能上也低于本项目的方法。
• 真正的多模态聚类能够产生稳健的聚类结果，因为该方法将每种模态视为另一种模态的增强，即使在一种模态退化时也能给出稳定的预测。

2. 项目快速启动

环境准备

SeLaVi项目在以下环境中进行了测试：

• Ubuntu 16.04.5 LTS
• Python 3.7.5
• PyTorch 1.3.1
• Torchvision 0.4.1
• CUDA 10.0

使用conda创建虚拟环境并安装所需的包：

conda env create -f environment.yml
conda activate lab_vid

确保预处理的数据集（VGG-Sound、Kinetics、AVE）的文件夹结构如下：

{dataset_name}/{train,val,test}/{class_name}/{video_name}.mp4

单节点训练

以VGG-Sound数据集为例，使用8个GPU进行200个epoch的训练：

python -m torch.distributed.launch --nproc_per_node=8 main.py \
--root_dir /path/to/VGGSound \
--epochs 200 \
--batch_size 16 \
--base_lr 1e-2 \
--ds_name vgg_sound \
--use_mlp True \
--mlp_dim 309 \
--headcount 10 \
--match True \
--distribution gauss \
--ind_groups 2

分布式训练

通过Slurm进行分布式训练，项目提供了自定义的SBATCH脚本来复制SeLaVi模型。

sbatch ./scripts/master.sh

请注意，可能需要从SBATCH文件中移除版权声明才能运行。

3. 应用案例和最佳实践

• 聚类质量评估：使用get_clusters.py和clustering_metrics.py脚本来评估聚类质量。

python3 get_clusters.py \
--dataset {vggsound, kinetics, ave, kinetics_sound} \
--root_dir /path/to/dataset \
--weights_path ${WEIGHTS_PATH} \
--output_dir ${OUTPUT_DIR} \
--exp_desc ${EXP_DESC} \
--mode train \
--headcount ${HEADCOUNT}

python3 clustering_metrics.py \
--path ${OUTPUT_DIR}/${EXP_DESC}.pkl \
--ncentroids ${NUM_CLS}

• 视频动作识别：使用finetune_video.py脚本来在视频动作识别任务上微调SeLaVi预训练模型。

python3 finetune_video.py \
--dataset {ucf101, hmdb51} \
--root_dir /path/to/dataset \
--fold {1,2,3} \
--batch_size 32 \
--workers 10 \
--weights_path ${WEIGHTS_PATH} \
--output_dir ${OUTPUT_DIR} \
--num_clusters ${NUM_CLUSTERS}

• 视频检索：使用video_retrieval.py脚本来评估视频检索任务。

python3 video_retrieval.py \
--dataset {ucf101, hmdb51} \
--root_dir /path/to/dataset \
--fold {1,2,3} \
--batch_size 32 \
--workers 10 \
--weights_path ${WEIGHTS_PATH} \
--output_dir ${OUTPUT_DIR}

4. 典型生态项目

SeLaVi项目的生态系统中，以下是一些典型的相关开源项目：

• PyTorch：用于深度学习研究的开源框架。
• Torchvision：与PyTorch深度学习框架配套的图像处理库。
• CUDA：NVIDIA推出的并行计算平台和编程模型。

以上是SeLaVi项目的最佳实践和快速启动指南，希望对您的学习和研究有所帮助。