【亲测免费】 GeneFace++ 安装与配置完全指南

项目基础介绍

GeneFace++ 是一个基于 PyTorch 的开源项目，专注于实现实时、高保真、高效系统的3D说话人脸生成。该技术允许创建具有高度同步唇部动作、逼真的视频质量及快速响应的人工智能驱动的虚拟人物视频。此外，它解决了现有神经辐射场(NeRF)方法在通用音频唇部运动预测上的局限性，提供稳定且实时的解决方案。

主要编程语言：

• Python
• 使用了 CUDA 和 C++ 进行性能加速

关键技术和框架

• PyTorch: 动态计算图的深度学习框架，用于模型训练和推理。
• Neural Radiance Fields (NeRF): 核心渲染技术，实现从短训练视频中生成高质量、3D一致的说话人脸。
• Gradio: 可选的Web UI交互工具，便于快速测试和演示。
• 自定义数据处理流程: 包含音频到动作、动作到视频的模型，以及3D模型的特定处理。

安装与配置步骤

准备工作

1. 环境要求：确保你的系统上已安装 Git, Python 3.9+, 和适当的GPU支持（CUDA版本匹配）。推荐在Linux环境下进行，但也有可能在Windows和macOS上运行，但可能需要额外的配置。
2. 安装Python环境：建议使用conda或venv创建一个新的Python环境。
3. 安装依赖：确保你有pip来管理Python包。

步骤详情

步骤1：克隆项目

打开终端，运行以下命令以克隆GeneFace++项目库到本地：

git clone https://github.com/yerfor/GeneFacePlusPlus.git
cd GeneFacePlusPlus

步骤2：创建并激活Python环境

conda create -n geneface python=3.9
conda activate geneface

或者，如果你更喜欢virtualenv：

python3 -m venv geneface
source geneface/bin/activate

步骤3：安装项目依赖

在项目根目录下执行：

pip install -r requirements.txt

步骤4：下载预处理数据和模型权重

• 下载3DMM文件到./deep_3drecon/BFM目录。
• 获取预处理数据集（例如May的数据集），解压后放至./data/binary/videos/May。
• 获取并解压缩预训练模型，包括audio2motion_vae和特定于任务的motion2video_nerf模型，放置到对应的checkpoints目录内。

步骤5：运行示例

• 首先设置环境变量指向正确的路径，然后运行示例脚本：

export PYTHONPATH=$(pwd):$PYTHONPATH
python inference/genefacepp_infer.py \
    --a2m_ckpt=checkpoints/audio2motion_vae \
    --head_ckpt=checkpoints/motion2video_nerf/may_head \
    --torso_ckpt=checkpoints/motion2video_nerf/may_torso \
    --drv_aud=data/raw/val_wavs/example.wav \
    --out_name=demo_output.mp4

这里，你需要替换音频文件路径(example.wav)为实际路径，并指定输出视频名。

注意事项

• 在实际操作中，确保所有必要的外部资源如音频文件、预训练模型链接和数据集已经正确下载和准备。
• 若在非Linux系统上遇到问题，可能需手动调整路径分隔符等兼容性问题。
• 官方文档和更新可能会有所不同，请时常参考项目的最新README或官方文档页面以获取最新信息。

通过遵循以上步骤，即使是初学者也能成功安装并开始利用GeneFace++进行3D说话脸的生成实验。祝您开发顺利！