SkyReels-A1 使用教程

1. 项目介绍

SkyReels-A1 是一个基于视频扩散变换器的表情丰富的人像动画开源项目。该项目由 SkyworkAI 开发，旨在通过先进的深度学习技术，实现人像视频中的表情动画效果。SkyReels-A1 使用 PyTorch 框架，包含预训练模型和相应的推理代码，可以让用户生成具有丰富表情的人像动画。

2. 项目快速启动

以下是快速启动 SkyReels-A1 的步骤：

环境准备

首先，您需要安装 Conda，然后创建一个新的虚拟环境并安装所需的依赖。

git clone https://github.com/SkyworkAI/SkyReels-A1.git
cd SkyReels-A1

# 创建虚拟环境
conda create -n skyreels-a1 python=3.10
conda activate skyreels-a1

# 安装依赖
pip install -r requirements.txt

下载预训练模型

接下来，您需要下载预训练的模型权重。

# 安装 HuggingFace CLI
pip install -U "huggingface_hub[cli]"

# 下载预训练模型权重
huggingface-cli download Skywork/SkyReels-A1 --local-dir local_path --exclude "*.git*" "*.md" "docs"

运行推理代码

最后，运行推理脚本以生成动画。

# 运行推理
python inference.py

# 如果需要音频驱动动画，运行以下命令
python inference_audio.py

运行成功后，您将得到一个包含驱动视频、输入图像或视频以及生成结果的输出 mp4 文件。

3. 应用案例和最佳实践

• 人像动画制作：使用 SkyReels-A1，您可以创建具有不同表情的人像动画，适用于视频制作、游戏开发等领域。
• 音频驱动动画：利用音频信号来驱动人像动画，为动画制作提供新的交互方式。

4. 典型生态项目

• SkyReels-V1：这是 SkyReels 系列中的人-centric 视频基础模型，可以用于生成高质量的人像视频。
• DiffPoseTalk：用于从音频生成 FLAME 系数，进而构建运动信号的库。

以上是 SkyReels-A1 的基本使用教程，希望对您有所帮助。在实际应用中，请根据具体需求调整参数和配置。