Playable Video Generation 项目启动与配置教程

1. 项目目录结构及介绍

PlayableVideoGeneration 项目是一个开源项目，旨在实现可玩视频生成。以下是项目的目录结构及各部分的简要介绍：

• configs/：包含不同数据集的配置文件。
• dataset/：包含数据集相关代码，用于加载和预处理数据。
• evaluation/：包含评估模型性能的代码。
• model/：定义了模型的结构和相关的模块。
• pytorch_fid/：计算 Fréchet Inception Distance 的代码，用于评估生成视频的质量。
• resources/：存放资源文件，如 GIF 预览图等。
• training/：包含训练模型的相关代码。
• utils/：存放一些通用的工具函数。
• .dockerignore：定义了 Docker 构建时需要忽略的文件。
• Dockerfile：定义了项目的 Docker 容器构建过程。
• LICENSE：项目的许可文件。
• README.md：项目的说明文件。
• build_evaluation_dataset.py：构建评估数据集的脚本。
• evaluate_dataset.py：评估数据集的脚本。
• get_tennis_dataset.sh：获取网球数据集的脚本。
• interpolate.py：用于插值生成视频的脚本。
• play.py：用于交互式播放视频的脚本。
• train.py：用于训练模型的脚本。

2. 项目的启动文件介绍

项目的启动主要涉及到两个脚本：play.py 和 train.py。

• play.py：这个脚本用于交互式地播放视频。用户可以通过指定配置文件来加载预训练的模型，并在全屏窗口中实时生成视频。用户可以通过按下数字键来提供动作标签，从而控制视频的播放。

• train.py：这个脚本用于训练模型。用户需要通过指定配置文件来配置训练过程，包括数据集、模型结构、训练参数等。训练过程中会生成一些中间结果和检查点文件，用于监控训练进度和保存模型状态。

3. 项目的配置文件介绍

项目的配置文件位于 configs/ 目录下，每个配置文件都是 YAML 格式，定义了模型训练或播放时的具体参数。

• 配置文件示例：

# 01_bair.yaml
dataset:
  name: bair
  type: Bair
model:
  name: caddy
  type: CADDY
training:
  epochs: 100
  batch_size: 16
  learning_rate: 0.001
  ...

配置文件包含了数据集的名称和类型、模型的名称和类型、训练参数（如迭代次数、批量大小、学习率等）。不同的配置文件对应不同的数据集和模型设置，用户可以根据需要选择或自定义配置文件。