GPT-SoVITS 语音合成项目使用教程

GPT-SoVITS 是一个基于深度学习的文本到语音（TTS）转换项目，利用先进的语音合成技术，能够在短时间内生成高质量的语音。该项目支持零样本和少样本学习，用户只需提供少量的语音数据即可训练出高质量的TTS模型。

项目快速启动

环境准备

首先确保系统环境满足以下要求：

• Python 3.9 或更高版本
• PyTorch 2.0.1 或更高版本
• CUDA 11 或更高版本（如果使用GPU）

安装依赖

# 创建虚拟环境
conda create -n GPTSoVits python=3.9
conda activate GPTSoVits

# 安装依赖
pip install -r requirements.txt

预训练模型下载

下载预训练模型并放置到指定目录：

• GPT-SoVITS 模型：下载后放置到 GPT_SoVITS/pretrained_models/
• UVR5 模型：下载后放置到 tools/uvr5/uvr5_weights/

配置文件设置

编辑模型配置文件 cmd/model.yaml，按照以下格式配置模型参数：

0:
  name: 默认配置1
  device:
  sovits_path: GPT_SoVITS/pretrained_models/s2G488k.pth
  gpt_path: GPT_SoVITS/pretrained_models/s1bert25hz-2kh-longer-epoch=68e-step=50232.ckpt
  ref_wav_path: ref_wav/ref_wav1.wav
  prompt_text: ref_wav1.wav 对应的文本
  prompt_language: 中文
  text_language: 中英混合

快速启动命令行TTS

启动根目录下的 tts.bat（Windows）或相应脚本。程序初始化完成后，在命令行输入文本即可实时生成语音。

核心功能特性

零样本TTS

输入5秒的语音样本即可体验即时文本到语音转换。

少样本TTS

只需1分钟的训练数据即可微调模型，提高语音相似度和真实感。

跨语言支持

支持英语、日语和中文的推理，训练数据集的语言可以与推理语言不同。

集成工具

包含语音伴奏分离、自动训练集分割、中文ASR和文本标注等工具，帮助初学者创建训练数据集和模型。

应用案例

个性化语音助手

利用 GPT-SoVITS 生成个性化的语音助手，提供更加自然的交互体验。

有声书制作

快速生成高质量的有声书，节省人工录制的时间和成本。

语音广告

生成具有特定情感和风格的语音广告，提升广告效果。

数据集格式

TTS标注文件格式为：

vocal_path|speaker_name|language|text

语言字典：

• 'zh': 中文
• 'ja': 日语
• 'en': 英语

示例：

D:\GPT-SoVITS\xxx/xxx.wav|xxx|en|I like playing Genshin.

最佳实践

数据预处理

在进行模型训练前，确保语音数据的清晰度和一致性，使用工具进行降噪和分割。

模型微调

对于特定应用场景，可以通过少量的语音数据对模型进行微调，以提高语音的相似度和自然度。

多语言支持

GPT-SoVITS 支持多种语言的语音合成，可以根据需求选择合适的语言模型。

命令行操作

启动WebUI

python webui.py

音频分割

python tools/slice_audio.py \
    --input_path "输入音频路径" \
    --output_root "输出目录" \
    --threshold 音量阈值 \
    --min_length 最小时长 \
    --min_interval 最小间隔

ASR处理

python tools/asr/fasterwhisper_asr.py -i 输入目录 -o 输出目录 -l 语言

项目结构

GPT_SoVITS/
├── AR/                    # 自回归模型
├── configs/              # 配置文件
├── feature_extractor/    # 特征提取器
├── module/               # 核心模块
├── text/                 # 文本处理
├── utils.py              # 工具函数
└── pretrained_models/    # 预训练模型

通过以上步骤，您可以快速上手 GPT-SoVITS 项目，体验高质量的语音合成功能。