效率化的实时肖像动画：Efficient-Live-Portrait

1. 项目介绍

Efficient-Live-Portrait 是一个基于深度学习的实时肖像动画项目。该项目通过将图像转换为 ONNX 和 TensorRT 模型，实现了高效的肖像动画效果，具有实时性和高质量的特点。项目支持多 faces 动画，面部识别适配器以及视频到视频的实时肖像动画等功能。

2. 项目快速启动

克隆代码库

首先，你需要克隆该项目：

git clone https://github.com/aihacker111/Efficient-Live-Portrait.git

环境准备

创建并激活 conda 环境：

conda create -n ELivePortrait python==3.10.14
conda activate ELivePortrait

安装依赖

根据你的系统情况，选择以下其中一个命令安装依赖：

• 对于 CPU：

  pip install -r requirements-cpu.txt
  

• 对于 GPU：

  pip install -r requirements-gpu.txt
  

• 对于 MPS：

  pip install -r requirements-mps.txt
  

确保你的系统中安装了 FFmpeg。

下载预训练权重

项目会自动下载预训练权重，无需手动下载并放置在源代码中。

运行示例

以下是一个运行 Face-ID 模式的示例：

python run_live_portrait.py --driving_video 'path/to/your/video/driving/or/webcam/id' --source_image 'path/to/your/image/want/to/animation' --condition_image 'path/the/single/face/image/to/compute/face-id' --task 'image' --run_time --half_precision --use_face_id

根据你的需求，可以修改相应的参数和路径。

3. 应用案例和最佳实践

多面部动画

Efficient-Live-Portrait 支持在视频中对多个面部进行动画处理。以下是一个示例：

python run_live_portrait.py --driving_video 'path/to/your/video/driving/or/webcam/id' --source_image 'path/to/your/image/want/to/animation' --task 'video' --run_time --half_precision

视频到视频的实时肖像动画

如果你想要将一个视频转换为另一个视频的实时肖像动画，可以使用以下命令：

python run_live_portrait.py --driving_video 'path/to/your/video/driving/or/webcam/id' --source_video 'path/to/your/video/want/to/animation' --task 'video' --run_time --half_precision

集成 SDXL-Lightning 和 OpenPose-Lora

Efficient-Live-Portrait 还支持与 SDXL-Lightning 和 OpenPose-Lora 集成，以下是一个示例：

python run_live_portrait.py --driving_video 'path/to/your/video' --source_image 'path/to/your/image/want/to/animation' --run_time --task 'image' --use_diffusion --lcm_steps [1, 2, 4, 8] --prompt '1girl, offshoulder, light smile, shiny skin best quality, masterpiece, photorealistic'

4. 典型生态项目

Efficient-Live-Portrait 可以与多种开源项目集成，例如：

• TensorRT：用于提高模型的推理速度。
• OpenPose：用于人体姿态估计。
• SDXL-Lightning：用于风格迁移和图像生成。

通过这些开源项目的集成，可以打造出功能更丰富、效果更出色的实时肖像动画应用。