HunyuanPortrait 的安装和配置教程

项目基础介绍

HunyuanPortrait 是一个开源项目，旨在通过分离身份和动作，使用预训练编码器生成逼真且时间上连贯的肖像动画。该项目使用扩散-based框架，通过注意力量化适配器将视频表达/姿态编码成隐性控制信号，注入到一个稳定的扩散主干网络中，从而实现从单个参考图像的详细且风格灵活的动画。

主要编程语言

该项目主要使用 Python 编程语言。

关键技术和框架

• 扩散模型：用于生成肖像动画的核心技术。
• 预训练编码器：包括 SVD、DiNOv2、Arc2Face 和 YoloFace 等，用于提取视频中的表达和姿态信息。
• 注意力量化适配器：用于将编码的控制信号注入扩散模型。

准备工作

在开始安装之前，请确保您的系统满足以下要求：

• 操作系统：Linux
• GPU：NVIDIA 3090，支持 CUDA
• Python：建议使用 Python 3.7 或以上版本

安装步骤

1. 克隆项目仓库：

   git clone https://github.com/Tencent-Hunyuan/HunyuanPortrait.git
   

2. 安装必要的 Python 包：

   cd HunyuanPortrait
   pip3 install torch torchvision torchaudio
   pip3 install -r requirements.txt
   

3. 下载预训练模型和权重：

   pip3 install "huggingface_hub[cli]"
   cd pretrained_weights
   huggingface-cli download --resume-download stabilityai/stable-video-diffusion-img2vid-xt --local-dir . --include "*.json"
   wget -c https://huggingface.co/LeonJoe13/Sonic/resolve/main/yoloface_v5m.pt
   wget -c https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/vae/diffusion_pytorch_model.fp16.safetensors -P vae
   wget -c https://huggingface.co/FoivosPar/Arc2Face/resolve/da2f1e9aa3954dad093213acfc9ae75a68da6ffd/arcface.onnx
   huggingface-cli download --resume-download tencent/HunyuanPortrait --local-dir hyportrait
   

4. 运行示例脚本（替换 your_video.mp4 和 your_image.png 为您的视频文件和图像文件路径）：

   bash demo.sh video_path="your_video.mp4" image_path="your_image.png"
   python inference.py --config config/hunyuan-portrait.yaml --video_path $video_path --image_path $image_path
   

完成以上步骤后，您应该能够运行 HunyuanPortrait 项目，并生成自己的肖像动画。