HunyuanVideo-Avatar 的安装和配置教程

1. 项目基础介绍和主要编程语言

HunyuanVideo-Avatar 是一个基于多模态扩散变换器（MM-DiT）的模型，能够生成动态、情感可控的多角色对话视频。该项目旨在解决音频驱动的人像动画中的关键挑战，如保持角色一致性、实现角色与音频之间的精确情感对齐以及支持多角色音频驱动动画。主要编程语言为 Python。

2. 项目使用的关键技术和框架

• 多模态扩散变换器（MM-DiT）：这是项目中的核心框架，用于生成具有高动态范围和情感控制能力的视频。
• 字符图像注入模块：用于替代传统的基于加法的角色条件模块，确保训练和推理之间的一致性，从而实现动态动作和强烈的角色一致性。
• 音频情感模块（AEM）：从情感参考图像中提取并转移情感线索到目标生成的视频中，实现精细且准确情感风格控制。
• 面向人脸的音频适配器（FAA）：通过在潜在级别上的面部遮罩来隔离音频驱动的角色，实现多角色场景中的独立音频注入。

此外，项目还使用了 PyTorch、CUDA 等深度学习框架和库。

3. 项目安装和配置的准备工作与详细安装步骤

准备工作：

• 确保您的系统为 Linux 操作系统。
• 准备具有 CUDA 支持的 NVIDIA GPU，推荐使用至少 96GB 显存以确保更好的生成质量。

安装步骤：

1. 克隆项目仓库：

   git clone https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar.git
   cd HunyuanVideo-Avatar
   

2. 创建 Conda 环境：

   conda create -n HunyuanVideo-Avatar python==3.10.9
   

3. 激活 Conda 环境：

   conda activate HunyuanVideo-Avatar
   

4. 安装 PyTorch 和其他依赖项： 根据您安装的 CUDA 版本选择以下命令之一：

   • 对于 CUDA 11.8：

     conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=11.8 -c pytorch -c nvidia
     

   • 对于 CUDA 12.4：

     conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia
     

5. 安装 pip 依赖项：

   python -m pip install -r requirements.txt
   

6. （可选）安装 Flash Attention v2 以加速：

   python -m pip install ninja
   python -m pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3
   

7. 运行 Docker 容器（可选）： 根据您的 CUDA 版本选择以下命令之一：

   • 对于 CUDA 12.4：

     docker pull hunyuanvideo/hunyuanvideo:cuda_12
     docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_12
     pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2
     

   • 对于 CUDA 11.8：

     docker pull hunyuanvideo/hunyuanvideo:cuda_11
     docker run -itd --gpus all --init --net=host --uts=host --ipc=host --name hunyuanvideo --security-opt=seccomp=unconfined --ulimit=stack=67108864 --ulimit=memlock=-1 --privileged hunyuanvideo/hunyuanvideo:cuda_11
     pip install gradio==3.39.0 diffusers==0.33.0 transformers==4.41.2
     

注意事项：

• 如果遇到浮点异常或内存不足的情况，请尝试减少图像分辨率或使用更高显存的 GPU。
• 确保安装了与 CUDA 版本兼容的 CUBLAS 和 CUDNN。

按照以上步骤操作，您应该能够成功安装和配置 HunyuanVideo-Avatar 项目。