RealisDance 项目使用教程

1. 项目目录结构及介绍

RealisDance 项目是一个用于生成具有真实手部动作的可控角色动画的开源项目。以下是项目的目录结构及其简要介绍：

RealisDance/
├── __assets__/          # 存放示例数据和模型权重文件
├── configs/             # 配置文件目录
├── prepare_pose/        # 准备姿势数据的脚本和模型
├── src/                 # 源代码目录，包含模型的实现和训练/测试代码
├── .gitignore           # Git 忽略文件
├── LICENSE              # 项目许可证文件
├── README.md            # 项目说明文件
├── evaluate.py          # 评估模型性能的脚本
├── inference.py         # 模型推理的脚本
├── requirements.txt     # 项目依赖的Python包列表
├── setup.py             # 项目设置文件，用于安装包
└── train.py             # 训练模型的脚本

2. 项目的启动文件介绍

train.py

train.py 是用于训练 RealisDance 模型的启动文件。运行此脚本将开始模型的训练过程。以下是基本的命令行使用方式：

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nnodes=1 --nproc_per_node=8 train.py --config configs/stage1_hamer.yaml

这里，CUDA_VISIBLE_DEVICES 用于指定 GPU 设备，torchrun 是用于分布式训练的命令，--config 参数指定了配置文件。

evaluate.py

evaluate.py 是用于评估训练好的 RealisDance 模型性能的启动文件。运行此脚本将使用测试数据来评估模型。以下是基本的命令行使用方式：

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 torchrun --nnodes=1 --nproc_per_node=8 evaluate.py --config configs/stage1_hamer.yaml --output $PATH-TO-OUTPUT --ckpt $PATH-TO-CKPT

与 train.py 类似，这里也需要指定 GPU 设备，并使用 torchrun 来运行脚本。--config 参数指定配置文件，--output 指定输出目录，--ckpt 指定模型权重文件。

inference.py

inference.py 是用于对单张图像或视频进行推理的启动文件。以下是基本的命令行使用方式：

python inference.py --config configs/stage2_hamer.yaml --smpl __assets__/demo_seq/smpl_1.mp4 --hamer __assets__/demo_seq/hamer_1.mp4 --dwpose __assets__/demo_seq/dwpose_1.pkl --ckpt $PATH-TO-CKPT --ref $PATH-TO-REF-IMG --output $PATH-TO-OUTPUT

这里，--config 指定配置文件，--smpl、--hamer 和 --dwpose 指定输入文件，--ckpt 指定模型权重文件，--ref 指定参考图像，--output 指定输出文件。

3. 项目的配置文件介绍

配置文件位于 configs/ 目录下，用于定义训练和推理过程中的各种参数。以下是一些配置文件的简要介绍：

• stage1_hamer.yaml: 定义了第一阶段训练的参数，包括模型架构、损失函数、优化器设置等。
• stage2_hamer.yaml: 定义了第二阶段训练的参数，通常在第一阶段训练完成后进行，用于进一步提高模型性能。

这些 YAML 格式的配置文件可以很容易地编辑和修改，以便调整模型的行为以适应不同的需求。在运行 train.py、evaluate.py 或 inference.py 时，可以通过 --config 参数指定使用哪个配置文件。