VITS开源项目使用与启动教程

1. 项目介绍

VITS（Voice Conversion withITS）是一个开源项目，旨在实现日本语、汉语、韩语、梵语和泰语的语音转换。它使用先进的深度学习技术，能够将文本转换为自然听起来的语音。VITS基于PyTorch框架，并提供了灵活的配置选项，支持单说话人或多说话人的语音合成。

2. 项目快速启动

环境准备

• Python 3.7
• pip（Python的包管理工具）

克隆仓库

git clone https://github.com/CjangCjengh/vits.git

安装依赖

cd vits
pip install -r requirements.txt

配置项目

• 编辑config.json文件，根据你的需求设置参数，例如n_speakers、text_cleaners等。
• 编辑text/symbols.py，去除不必要的导入。
• 在text_cleaners配置中，选择合适的文本清洗器。

创建数据集

• 单说话人数据集格式：path/to/XXX.wav|transcript
• 多说话人数据集格式：path/to/XXX.wav|speaker id|transcript

预处理数据

• 单说话人预处理：

python preprocess.py --text_index 1 --filelists path/to/filelist_train.txt path/to/filelist_val.txt

• 多说话人预处理：

python preprocess.py --text_index 2 --filelists path/to/filelist_train.txt path/to/filelist_val.txt

构建单调对齐搜索

cd monotonic_align
python setup.py build_ext --inplace
cd ..

训练模型

• 单说话人训练：

python train.py -c <config> -m <folder>

• 多说话人训练：

python train_ms.py -c <config> -m <folder>

3. 应用案例和最佳实践

• 数据准备：确保你的音频数据质量高，且转录准确无误。
• 模型训练：根据你的数据量，可能需要调整训练的epoch数量和batch size。
• 性能调优：使用验证集监控模型性能，调整超参数以达到最佳效果。

4. 典型生态项目

• MoeGoe：一个基于VITS的开源语音合成工具。
• 其他：社区中有许多基于VITS的项目，用于各种不同的应用场景，例如语音助手、TTS服务等。