VALL-E X 开源项目安装与配置指南

1. 项目基础介绍

VALL-E X 是一个开源的多语言文本转语音（TTS）项目，基于 Microsoft 的研究成果。该项目允许用户将文本转换成自然流畅的语音，并支持零样本语音克隆功能，即使用极短的录音样本来生成与原声相似的语音。主要编程语言为 Python。

2. 项目使用的关键技术和框架

• VALL-E X 模型：核心的文本转语音模型，支持多语言和零样本语音克隆。
• PyTorch：流行的深度学习框架，用于模型的开发和训练。
• Whisper：自动语音识别模型，用于生成语音样本的文本转录。

3. 项目安装和配置的准备工作

在开始安装前，请确保您的系统中已安装以下依赖：

• Python 3.10 或更高版本
• CUDA 11.7 至 12.0
• PyTorch 2.0 或更高版本

同时，您需要确保您的系统中已经安装了 Git。

安装步骤

1. 克隆项目

   打开命令行工具，执行以下命令来克隆项目：

   git clone https://github.com/Plachtaa/VALL-E-X.git
   cd VALL-E-X
   

2. 安装依赖

   在项目目录中，使用以下命令安装所需的 Python 包：

   pip install -r requirements.txt
   

3. 下载模型

   在首次运行程序时，系统会自动下载相应的模型文件。如果自动下载失败，请按照以下步骤手动下载：

   • 确认项目目录中是否存在 checkpoints 文件夹，如果不存在，请创建一个。
   • 下载 vallex-checkpoint.pt 文件，并将其放入 checkpoints 文件夹中。
   • 确认是否存在 whisper 文件夹，如果不存在，请创建一个。
   • 下载 medium.pt 文件，并将其放入 whisper 文件夹中。

4. 准备音频提示

   如果您打算使用语音克隆功能，您需要准备一个 3-10 秒的录音样本及其文本转录。

   使用以下命令创建一个语音提示：

   python utils/prompt_making.py --name <prompt_name> --audio_prompt_path <path_to_audio> --transcript "<transcript_text>"
   

   如果没有转录文本，可以留空，Whisper 模型将自动生成转录。

5. 测试

   完成上述步骤后，您可以尝试使用以下命令生成一段音频：

   python utils/generation.py --text "Hello, world!"
   

   如果一切正常，您应该能在项目目录中找到一个生成的音频文件。

以上步骤即为 VALL-E X 的详细安装和配置指南。祝您使用愉快！