REPA-E 项目使用教程

1. 项目目录结构及介绍

REPA-E 项目目录结构如下：

REPA-E/
├── assets/              # 存放项目相关资源文件
├── configs/             # 存放配置文件
├── loss/                # 存放损失函数相关代码
├── models/              # 存放模型相关代码
├── .gitignore           # 指定 git 忽略的文件
├── LICENSE              # 项目许可证文件
├── README.md            # 项目说明文件
├── cache_latents.py     # 缓存潜在变量的脚本
├── dataset.py           # 数据集处理脚本
├── environment.yml      # Conda 环境配置文件
├── generate.py          # 生成样本的脚本
├── preprocessing.py     # 数据预处理脚本
├── samplers.py          # 抽样器相关代码
├── save_vae_weights.py  # 保存 VAE 权重的脚本
├── train_ldm_only.py    # 仅训练 LDM 模型的脚本
├── train_repae.py       # 训练 REPA-E 模型的脚本
└── utils.py             # 工具函数脚本

2. 项目的启动文件介绍

项目的启动文件主要有两个：train_repae.py 和 train_ldm_only.py。

• train_repae.py：这是训练 REPA-E 模型的主脚本。它负责加载配置文件、数据集、模型和损失函数，然后开始训练过程。

• train_ldm_only.py：这个脚本用于仅训练 LDM 模型，即不包括 VAE 的部分。

运行这些脚本之前，需要确保环境已经正确设置，并且数据集已经准备好。

3. 项目的配置文件介绍

项目的配置文件位于 configs/ 目录下，主要有以下几个配置文件：

• l1_lpips_kl_gan.yaml：这个文件定义了损失函数的配置，包括 L1、LPIPS、KL 和 GAN 损失的权重。

在训练脚本中，可以通过 --loss-cfg-path 参数指定使用的配置文件。例如：

accelerate launch train_repae.py --loss-cfg-path configs/l1_lpips_kl_gan.yaml

此外，还有其他配置文件可以调整训练过程中的不同参数，如模型架构、学习率、批次大小等。这些配置文件可以通过相应的命令行参数进行指定和调整。