MoMask: 3D人体动作生成的开源项目教程

1. 项目介绍

MoMask是一个用于生成3D人体动作的开源项目，官方实现代码托管在GitHub上，项目地址为：https://github.com/EricGuo5513/momask-codes。该项目的主要目标是利用生成式掩码建模技术来生成逼真且多样化的3D人体动作。MoMask在CVPR 2024上被正式接受，并提供了丰富的功能，包括动作生成、评估和可视化。

2. 项目快速启动

2.1 环境准备

首先，确保你已经安装了Conda。然后，按照以下步骤创建并激活Conda环境：

conda env create -f environment.yml
conda activate momask

如果你遇到Conda环境设置的困难，可以使用pip安装：

pip install -r requirements.txt

2.2 下载预训练模型和依赖

下载预训练模型：

bash prepare/download_models.sh

下载评估模型和手套数据（仅用于评估）：

bash prepare/download_evaluator.sh
bash prepare/download_glove.sh

2.3 数据准备

你可以选择跳过数据下载，直接使用自己的描述生成动作，或者下载完整数据进行重新训练和评估。

2.3.1 完整数据（文本 + 动作）

HumanML3D数据集：

cp -r /path/to/HumanML3D/HumanML3D /dataset/HumanML3D

KIT数据集：

cp -r /path/to/KIT-ML /dataset/KIT-ML

2.4 生成动作

2.4.1 从单个提示生成

python gen_t2m.py --gpu_id 1 --ext exp1 --text_prompt "A person is running on a treadmill"

2.4.2 从提示文件生成

python gen_t2m.py --gpu_id 1 --ext exp2 --text_path /assets/text_prompt.txt

3. 应用案例和最佳实践

3.1 动作生成

MoMask可以用于生成各种类型的3D人体动作，例如跑步、跳舞、打篮球等。用户可以通过提供文本描述来生成相应的动作。

3.2 动作编辑

MoMask还支持基于掩码的编辑功能，用户可以指定动作的特定部分进行编辑，例如改变某个动作的持续时间或细节。

3.3 动作评估

MoMask提供了评估脚本，可以用于评估生成的动作的质量和逼真度。

4. 典型生态项目

4.1 Blender插件

MoMask可以与Blender集成，用户可以通过Blender插件直接生成和编辑3D人体动作。

4.2 Huggingface Demo

MoMask在Huggingface上提供了WebUI演示，用户无需GPU即可在CPU上运行MoMask。

4.3 Colab Demo

MoMask还提供了Colab演示，用户可以在Google Colab上直接运行MoMask，无需本地环境设置。

通过以上步骤，你可以快速上手MoMask项目，并利用其强大的功能生成和编辑3D人体动作。