GoMAvatar 开源项目最佳实践教程

1. 项目介绍

GoMAvatar 是一个基于单目视频的高效可动画化人体建模项目，它通过使用 Gaussians-on-Mesh 技术来实现。该项目旨在为研究人员和开发者提供一个有效的工具，以便从单目视频中创建出可以进行动画处理的人体模型。GoMAvatar 在 CVPR 2024 论文中被提出，由 Jing Wen、Xiaoming Zhao、Zhongzheng Ren、Alex Schwing 和 Shenlong Wang 合作完成。

2. 项目快速启动

环境准备

• CUDA 11.6
• PyTorch 1.13.0
• PyTorch3D 0.7.0

安装依赖

首先，创建一个新的 Conda 环境，并激活它：

conda create -n GoMAvatar
conda activate GoMAvatar

然后，安装所需的 PyTorch 和 CUDA 相关包：

conda install pytorch==1.13.0 torchvision==0.14.0 pytorch-cuda=11.6 -c pytorch -c nvidia

接下来，安装其他依赖：

pip install -r requirements.txt

安装 PyTorch3D：

conda install -c fvcore -c iopath -c conda-forge fvcore iopath
conda install pytorch3d -c pytorch3d

安装 Gaussian splatting：

pip install git+https://github.com/graphdeco-inria/diff-gaussian-rasterization

数据准备

• 下载 SMPL v1.0.0 的男性和女性模型，以及中性模型，并将 .pkl 文件放在 utils/smpl/models 目录下。
• 下载 ZJU-MoCap 数据集并保存在 data/zju-mocap 目录下，然后运行相应的预处理脚本。
• 下载 PeopleSnapshot 数据集并保存在 data/snapshot 目录下，同时下载 refined training poses。

3. 应用案例和最佳实践

数据预处理

• 对于 ZJU-MoCap 数据集，运行以下命令进行预处理：

cd scripts/prepare_zju-mocap
python prepare_dataset.py --cfg $SCENE.yaml

• 对于 PeopleSnapshot 数据集，运行以下命令进行预处理：

cd scripts/prepare_snapshot
python prepare_dataset.py --cfg $SCENE.yaml

训练模型

• 对于 ZJU-MoCap 数据集，运行以下命令开始训练：

python train.py --cfg exps/zju-mocap_$SCENE.yaml

• 对于 PeopleSnapshot 数据集，运行以下命令开始训练：

python train.py --cfg exps/snapshot_$SCENE.yaml

渲染和评估

• 使用以下命令进行视图合成：

python eval.py --cfg exps/zju-mocap_$SCENE.yaml --type view

• 使用以下命令进行姿态合成：

python eval.py --cfg exps/zju-mocap_$SCENE.yaml --type pose

• 进行 360 度自由视角渲染：

python eval.py --cfg exps/zju-mocap_$SCENE.yaml --type freeview

• 使用 MDM 进行姿态渲染：

python eval.py --cfg exps/zju-mocap_$SCENE.yaml --type pose_mdm --pose_path data/mdm_poses/sample.npy

4. 典型生态项目

GoMAvatar 可以与以下项目进行集成和扩展：

• HumanNeRF：用于人体建模和渲染的开源项目。
• MonoHuman：从单目视频中估计人体姿态和形状的开源项目。

以上就是 GoMAvatar 开源项目的最佳实践教程，希望对您的学习和开发有所帮助。