解决so-vits-svc数据集制作难题：从录音到训练就绪的完整方案

一、数据集制作前的准备工作

目标

了解so-vits-svc对数据集的基本要求，为后续制作高质量数据集做好准备。

方法

1. 明确模型需求：so-vits-svc是基于vits与softvc的歌声音色转换模型，高质量的数据集是训练出优秀模型的基础。
2. 准备工作环境：确保已安装Python环境，并且克隆项目仓库，命令如下：

   git clone https://gitcode.com/gh_mirrors/sovit/so-vits-svc
   

验证

检查项目是否成功克隆到本地，确保项目文件夹so-vits-svc存在。

二、音频采集：获取高质量原始素材

目标

采集符合要求的音频数据，为后续模型训练提供优质原材料。

方法

1. 选择合适的录音环境
   • 尽量选择安静、无回声的房间，就像在一个隔音效果好的小盒子里录音一样，这样可以避免背景噪音对音频质量的干扰。
   • 📌 关键步骤：可以在房间内放置一些吸音材料，如窗帘、地毯等，进一步减少回声。
2. 使用合适的录音设备

   设备类型	特点	适用场景
   专业麦克风	音质好，灵敏度高	追求高质量音频录制
   普通耳机麦克风	便携，成本低	简单的音频采集
   手机麦克风	方便，随时可用	临时或应急录制

   • 建议优先选择专业麦克风和声卡，以保证音频的清晰度和保真度。
3. 设置正确的录音参数
   • 建议采样率：44100Hz（赫兹）或48000Hz，位深为16位，采用单声道录制。
   • ⚠️ 注意：采样率不匹配会导致预处理失败，一定要确认录音参数设置正确。
4. 选择合适的音频内容
   • 包含不同音高、节奏和情感的歌曲片段，丰富数据集的多样性。
   • 每个音频片段时长控制在5-30秒，就像我们听一首完整歌曲时，截取其中一段精彩的部分一样，过短或过长都不利于模型训练。
   • 避免使用经过过多压缩或处理的音频文件，保证音频的原始质量。

验证

播放录制的音频，检查是否有明显的背景噪音、杂音，音频是否清晰，时长是否符合要求。

三、数据集文件结构组织

目标

按照规范的结构组织音频数据，便于模型区分不同说话人，提高转换效果。

方法

so-vits-svc要求数据集按照以下结构放置在dataset_raw目录中：

dataset_raw
├── speaker0
│   ├── audio1.wav
│   ├── audio2.wav
│   └── ...
├── speaker1
│   ├── audio1.wav
│   ├── audio2.wav
│   └── ...
└── ...

其中，speaker0、speaker1等为不同说话人的文件夹，每个文件夹中存放该说话人的音频文件。

验证

检查dataset_raw目录下是否按照上述结构正确组织了音频文件，每个说话人文件夹下是否有对应的音频文件。

四、数据预处理：将原始音频转换为模型可接受格式

目标

通过一系列处理步骤，将原始音频数据转换为模型训练所需的格式。

方法

1. 重采样至32kHz
   • 📌 关键步骤：运行以下命令进行重采样

   python resample.py
   

   • 不同操作系统下的命令差异：在Windows系统中，直接在命令提示符中运行上述命令；在Linux或macOS系统中，在终端中运行。
   • 🔍 检查项：重采样完成后，查看生成的文件是否为32kHz采样率。
2. 划分数据集与生成配置文件
   • 📌 关键步骤：执行以下命令

   python preprocess_flist_config.py
   

   • 此步骤会自动划分训练集、验证集和测试集，并生成配置文件configs/config.json。
   • ⚠️ 注意：自动生成的配置文件中，说话人数量n_speakers会自动按照数据集中的人数而定，且为当前数据集人数乘2，为之后添加说话人留下空间。如果想多留空位，可以修改configs/config.json中的n_speakers数量，但模型开始训练后不可再更改。
   • 🔍 检查项：查看filelists目录下是否生成了train.txt、val.txt和test.txt，以及configs目录下是否生成了config.json。
3. 生成hubert与f0特征
   • 📌 关键步骤：运行命令

   python preprocess_hubert_f0.py
   

   • 🔍 检查项：处理完成后，查看是否生成了相关的特征文件。

验证

检查预处理后生成的dataset目录是否存在，里面是否包含模型训练所需的各类文件。

预处理流程图

五、数据集优化：提升模型性能的实用技巧

目标

对预处理后的数据集进行优化，进一步提升模型的训练效果。

方法

1. 数据清洗
   • 对生成的数据集进行人工检查，就像筛选优质水果一样，去除低质量的音频片段。可以通过听音频、查看音频波形等方式判断。
   • 🔍 检查项：确保留下的音频片段无明显噪音、音质清晰。
2. 数据增强
   • 如果数据集规模较小，可以对音频进行轻微的音调变化、速度变化等处理，生成新的音频样本，就像给数据集增加不同的"口味"，扩充数据集多样性。
3. 多说话人数据集注意事项
   • 据不完全统计，多说话人可能会导致音色泄漏加重，不建议训练超过5人的模型。如果想让模型更像目标音色，尽可能使用单说话人的数据集。

验证

对比优化前后的数据集，检查低质量音频是否已去除，数据集多样性是否有所提升。

六、附录：数据集质量自检清单

检查项目	检查内容	是否合格
音频质量	无明显背景噪音、杂音，音质清晰	□
音频时长	每个音频片段在5-30秒之间	□
采样率	符合32kHz要求	□
文件结构	按照dataset_raw下分说话人文件夹组织	□
特征文件	成功生成hubert与f0特征	□
配置文件	n_speakers设置合理	□

通过以上清单，可对数据集质量进行全面检查，确保满足模型训练要求。