JoyVASA项目安装与配置指南

1. 项目基础介绍

JoyVASA是一个基于扩散模型的音频驱动面部动画生成项目。它能够将静态的面部图像和动态的面部表情结合起来，生成与音频同步的高质量面部动画。项目主要用于创建逼真的人物和动物面部动画，主要编程语言是Python。

2. 项目使用的关键技术和框架

• 扩散模型：用于生成面部动态和头部运动的序列。
• 音频编码器：如wav2vec2和hubert-chinese，用于提取音频特征。
• 3D面部重建：利用LivePortrait技术从图像中提取3D面部特征。
• 深度学习框架：使用PyTorch进行模型的训练和推理。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统满足以下要求：

• 操作系统：Ubuntu 20.04 或 Windows 11
• 显卡：NVIDIA GPU，支持CUDA（例如：RTX 4060 Laptop 8GB VRAM GPU）
• Python环境：Python 3.10
• 必要的软件：ffmpeg

详细安装步骤

步骤1：创建Python虚拟环境

首先，创建一个名为joyvasa的虚拟环境，并激活它。

conda create -n joyvasa python=3.10 -y
conda activate joyvasa

步骤2：安装项目依赖

在虚拟环境中安装项目所需的依赖。

pip install -r requirements.txt

步骤3：安装ffmpeg

使用以下命令安装ffmpeg。

sudo apt-get update
sudo apt-get install ffmpeg -y

步骤4：安装可选依赖（动物图像动画）

如果需要处理动物图像动画，需要安装MultiScaleDeformableAttention。

cd src/utils/dependencies/XPose/models/UniPose/ops
python setup.py build install
cd ../../../../../../

步骤5：准备模型权重文件

确保安装了git-lfs，然后下载所需的预训练权重文件到pretrained_weights目录。

git lfs install
git clone https://huggingface.co/jdh-algo/JoyVASA
# 根据需要下载其他音频编码器的预训练权重

步骤6：运行示例

运行以下命令来测试环境是否配置正确，并使用示例数据进行推理。

# 对于动物图像动画
python inference.py -r assets/examples/imgs/joyvasa_001.png -a assets/examples/audios/joyvasa_001.wav --animation_mode animal --cfg_scale 2.0

# 对于人物图像动画
python inference.py -r assets/examples/imgs/joyvasa_003.png -a assets/examples/audios/joyvasa_003.wav --animation_mode human --cfg_scale 2.0

请根据上述步骤操作，完成JoyVASA项目的安装和配置。