DICE-Talk 项目启动与配置教程

1. 项目目录结构及介绍

DICE-Talk 项目是一个基于扩散模型的情绪化说话人头生成方法，能够为说话人肖像生成生动多样的情绪。以下是项目的目录结构及其介绍：

DICE-Talk/
├── checkpoints/              # 存储预训练模型和生成的权重文件
├── config/                   # 配置文件目录
├── examples/                 # 示例文件和图片
├── src/                      # 源代码目录
├── LICENSE                   # 项目许可证
├── README.md                 # 项目说明文件
├── demo.py                   # 演示脚本
├── demo.sh                   # 演示脚本的shell脚本
├── dice_talk.py              # 核心功能实现脚本
├── gradio_app.py             # GUI应用脚本
└── requirements.txt          # 项目依赖文件

• checkpoints/：存储预训练模型文件和生成过程中使用的权重文件。
• config/：包含项目的配置文件，如dice_talk.yaml等。
• examples/：存放项目示例输入文件，如图片和音频等。
• src/：项目的主要源代码，包括模型定义、数据处理等。
• LICENSE：项目的开源许可证。
• README.md：项目的说明文档，介绍项目的详细信息。
• demo.py：用于运行项目演示的Python脚本。
• demo.sh：用于运行demo.py的shell脚本。
• dice_talk.py：项目的主要逻辑实现脚本。
• gradio_app.py：用于创建GUI应用的Python脚本。
• requirements.txt：项目运行所需的依赖列表。

2. 项目的启动文件介绍

项目的启动主要通过demo.py和demo.sh两个文件进行。

• demo.py：这是一个Python脚本，用于执行项目的演示功能。通过指定输入图片、音频文件、情绪类型以及输出视频的路径，可以生成带有指定情绪的说话人头视频。

• demo.sh：这是一个shell脚本，用于在命令行中运行demo.py脚本。使用时，需要为脚本中的变量指定正确的路径。

启动演示的示例命令如下：

python3 demo.py --image_path /path/to/input_image --audio_path /path/to/input_audio --emotion_path /path/to/input_emotion --output_path /path/to/output_video

3. 项目的配置文件介绍

项目的配置文件位于config/目录中，主要包含以下文件：

• dice_talk.yaml：这是项目的核心配置文件，包含模型配置、训练参数、数据处理参数等。用户可以根据自己的需求修改这些参数来调整模型的行为。

配置文件示例内容如下：

# dice_talk.yaml
model:
  name: dice_talk
  audio_linear_path: checkpoints/DICE-Talk/audio_linear.pth
  emotion_model_path: checkpoints/DICE-Talk/emo_model.pth
  pose_guider_path: checkpoints/DICE-Talk/pose_guider.pth
  unet_path: checkpoints/DICE-Talk/unet.pth

data:
  image_size: 512
  emotion_list: ['neutral', 'happy', 'angry', 'surprised']

training:
  batch_size: 16
  learning_rate: 0.0001
  epochs: 100

通过修改这个配置文件，用户可以自定义模型的行为和性能。在运行项目之前，请确保配置文件中的参数设置正确。