T2M-GPT 项目使用教程

1. 项目目录结构及介绍

T2M-GPT/
├── dataset/
│   ├── HumanML3D/
│   ├── KIT-ML/
│   ├── prepare/
│   └── ...
├── img/
├── models/
├── options/
├── utils/
├── visualization/
├── visualize/
├── .gitignore
├── GPT_eval_multi.py
├── LICENSE
├── README.md
├── VQ_eval.py
├── environment.yml
├── render_final.py
├── train_t2m_trans.py
└── train_vq.py

目录结构介绍

• dataset/: 包含数据集的目录，如 HumanML3D 和 KIT-ML。
• img/: 存放项目相关的图片文件。
• models/: 存放模型的定义和实现代码。
• options/: 存放配置选项的定义文件。
• utils/: 存放各种工具函数和辅助代码。
• visualization/: 存放可视化相关的代码。
• visualize/: 存放可视化相关的代码。
• .gitignore: Git 忽略文件配置。
• GPT_eval_multi.py: GPT 模型评估脚本。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文档。
• VQ_eval.py: VQ-VAE 模型评估脚本。
• environment.yml: 项目依赖环境配置文件。
• render_final.py: 最终渲染脚本。
• train_t2m_trans.py: GPT 模型训练脚本。
• train_vq.py: VQ-VAE 模型训练脚本。

2. 项目启动文件介绍

train_vq.py

该文件用于训练 VQ-VAE 模型。通过运行该脚本，可以启动 VQ-VAE 模型的训练过程。

python3 train_vq.py \
  --batch-size 256 \
  --lr 2e-4 \
  --total-iter 300000 \
  --lr-scheduler 200000 \
  --nb-code 512 \
  --down-t 2 \
  --depth 3 \
  --dilation-growth-rate 3 \
  --out-dir output \
  --dataname t2m \
  --vq-act relu \
  --quantizer ema_reset \
  --loss-vel 0.5 \
  --recons-loss l1_smooth \
  --exp-name VQVAE

train_t2m_trans.py

该文件用于训练 GPT 模型。通过运行该脚本，可以启动 GPT 模型的训练过程。

python3 train_t2m_trans.py \
  --exp-name GPT \
  --batch-size 128 \
  --num-layers 9 \
  --embed-dim-gpt 1024 \
  --nb-code 512 \
  --n-head-gpt 16 \
  --block-size 51 \
  --ff-rate 4 \
  --drop-out-rate 0.1 \
  --resume-pth output/VQVAE/net_last.pth \
  --vq-name VQVAE \
  --out-dir output \
  --total-iter 300000 \
  --lr-scheduler 150000 \
  --lr 0.0001 \
  --dataname t2m \
  --down-t 2 \
  --depth 3 \
  --quantizer ema_reset \
  --eval-iter 10000 \
  --pkeep 0.5 \
  --dilation-growth-rate 3 \
  --vq-act relu

3. 项目的配置文件介绍

environment.yml

该文件定义了项目的依赖环境。通过运行以下命令可以创建项目的虚拟环境：

conda env create -f environment.yml
conda activate T2M-GPT

options/ 目录

该目录下存放了项目的配置选项文件，定义了训练和评估过程中使用的各种参数。

dataset/prepare/ 目录

该目录下存放了数据集的准备脚本，如下载数据集、预处理数据等。

bash dataset/prepare/download_glove.sh
bash dataset/prepare/download_extractor.sh
bash dataset/prepare/download_model.sh

通过这些脚本，可以下载和准备项目所需的数据集和预训练模型。