VisemeNet_tensorflow 项目使用教程

1. 项目目录结构及介绍

VisemeNet_tensorflow 项目的目录结构如下：

VisemeNet_tensorflow/
├── data/
│   ├── test_audio/
│   └── ckpt/
│       └── pretrain_biwi/
├── src/
├── LICENSE
├── README.txt
├── LICENSE-GPLv3.txt
├── README.md
├── VisemeNet_Annotation_README.md
├── main_test.py
└── maya_animation.py

目录结构介绍

• data/: 存放测试音频文件和预训练模型的目录。

  • test_audio/: 存放测试音频文件的目录。
  • ckpt/pretrain_biwi/: 存放预训练模型的目录。

• src/: 存放项目源代码的目录。

• LICENSE: 项目的许可证文件。

• README.txt: 项目的说明文件。

• LICENSE-GPLv3.txt: GPL-3.0 许可证文件。

• README.md: 项目的 Markdown 格式说明文件。

• VisemeNet_Annotation_README.md: VisemeNet 注释的说明文件。

• main_test.py: 项目的主要测试文件。

• maya_animation.py: 用于在 Maya 中生成动画的脚本文件。

2. 项目启动文件介绍

main_test.py

main_test.py 是 VisemeNet_tensorflow 项目的主要测试文件。该文件用于执行音频文件的推理，生成对应的 viseme 参数。

使用方法

1. 将测试音频文件转换为 WAV 格式，并放置在 data/test_audio/ 目录下。

2. 在 main_test.py 文件的第 7 行，输入测试音频文件的名称。

3. 运行以下命令：

   python main_test.py
   

4. 生成的 viseme 参数将保存在 data/output_viseme/[your_audio_file_name]/mayaparam_viseme.txt 文件中。

3. 项目的配置文件介绍

VisemeNet_tensorflow 项目没有明确的配置文件，但可以通过以下步骤配置环境：

环境配置

1. 创建并激活 Conda 环境：

   conda create -n visnet python=3.5
   conda activate visnet
   

2. 安装 TensorFlow GPU 版本：

   pip install --ignore-installed --upgrade https://download.tensorflow.google.cn/linux/gpu/tensorflow_gpu-1.1.0-cp35-cp35m-linux_x86_64.whl
   

3. 安装所需的 Python 包：

   pip install numpy scipy python_speech_features matplotlib
   

4. 下载项目代码：

   git clone https://github.com/yzhou359/VisemeNet_tensorflow.git
   cd VisemeNet_tensorflow
   

5. 准备数据和模型：

   • 将测试音频文件转换为 WAV 格式，并放置在 data/test_audio/ 目录下。
   • 从指定链接下载预训练模型，并将所有 4 个文件放置在 data/ckpt/pretrain_biwi/ 目录下。

通过以上步骤，您可以成功配置 VisemeNet_tensorflow 项目的环境并开始使用。