EchoMimicV2 使用教程

1. 项目介绍

EchoMimicV2 是由蚂蚁集团推出的一个开源项目，致力于实现基于音频驱动的半身人体动画。该项目能够根据输入的音频生成相应的表情和身体动作，适用于创建虚拟角色动画、语音合成等领域。

2. 项目快速启动

环境准备

• CUDA 版本：≥ 11.7
• Python 版本：3.10

克隆代码

git clone https://github.com/antgroup/echomimic_v2.git
cd echomimic_v2

自动设置

运行以下脚本自动配置环境：

sh linux_setup.sh

手动设置

1. 创建 conda 环境：

conda create -n echomimic python=3.10
conda activate echomimic

2. 安装依赖：

pip install pip -U
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers==0.0.28.post3 --index-url https://download.pytorch.org/whl/cu124
pip install torchao --index-url https://download.pytorch.org/whl/nightly/cu124
pip install -r requirements.txt
pip install --no-deps facenet_pytorch==2.6.0

3. 下载 ffmpeg-static 并设置环境变量：

# 下载并解压 ffmpeg-static
# export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static

4. 下载预训练模型：

git lfs install
git clone https://huggingface.co/BadToBest/EchoMimicV2 pretrained_weights

运行演示

运行以下命令启动 gradio 演示：

python app.py

或者使用 Python 脚本进行推断：

python infer.py --config='./configs/prompts/infer.yaml'

对于加速版本的推断，运行：

python infer_acc.py --config='./configs/prompts/infer_acc.yaml'

3. 应用案例和最佳实践

• 案例一：使用 EchoMimicV2 生成语音驱动的虚拟角色动画。
• 案例二：结合语音合成技术，创建自动说话的视频内容。

4. 典型生态项目

• 项目一：MimicMotion - 一个开源的音频驱动动画库。
• 项目二：Moore-AnimateAnyone - 另一个用于创建音频驱动动画的开源项目。