问题agnostic语音编码器（PASE）开源项目教程

1. 项目介绍

PASE（Problem Agnostic Speech Encoder）是一个基于自监督学习的语音波形编码器，采用所谓的worker/minion框架。PASE模型可以用作语音特征提取器，或者用于预训练编码器以实现我们期望的终端任务，例如自动语音识别（ASR）、说话人识别、情感识别，或语音生成如语音转换或文本到语音（TTS）。

2. 项目快速启动

首先，确保您已经安装了以下依赖项：

• PyTorch 1.0 或更高版本
• Torchvision 0.2 或更高版本

如果需要在训练期间使用数据增强，请从源代码构建codec2，然后安装pycodec2：

pip install pycodec2

安装必要的依赖：

pip install -r requirements.txt

接下来，安装PASE框架：

python setup.py install

预训练模型

PASE+参数可以通过点击此处下载。这个ckpt文件包含编码器参数，不包含任何worker。以下是一个简单的构建和使用编码器的方式：

from pase.models.frontend import wf_builder
pase = wf_builder('cfg/frontend/PASE+.cfg').eval()
pase.load_pretrained('FE_e199.ckpt', load_last=True, verbose=True)

现在我们可以将波形作为Torch张量进行前向传播：

import torch
x = torch.randn(1, 1, 100000)  # 示例：使用随机噪声检查形状
y = pase(x)  # y的大小将是(1, 256, 625)，即625帧，每帧256维度

3. 应用案例和最佳实践

以下是一个典型的数据准备和训练流程：

数据准备

自监督训练阶段需要向训练脚本指定以下组件：

• 数据根目录：包含无子目录的文件（或到它们的软链接），格式为wav、mp3或任何Torchaudio支持的格式。
• 训练集统计文件：用于归一化每个worker的输出值，可通过make_trainset_statistics.py脚本来计算。
• 数据集配置文件：包含训练/验证/测试分割的指针等信息。
• 前端（编码器）配置文件：例如cfg/frontend/PASE+.cfg。
• worker配置文件：例如cfg/workers/workers+.cfg。

制作数据集配置文件需要以下文件：

• 训练文件列表train_scp：每行包含一个文件名（不包括目录名），包括.wav/.mp3等扩展名。
• 测试文件列表test_scp：每行包含一个.wav文件名（不包括目录名），包括.wav/.mp3等扩展名。
• 文件名到整数说话人类别（说话人ID）对应的字典。

根据您的数据文件构建这些文件，示例可以在repo的data/文件夹中找到。

训练

以下是训练PASE的示例命令：

python -u train.py --batch_size 32 --epoch 150 --save_path pase_ckpt --num_workers 4 \
--net_cfg cfg/workers/workers.cfg --fe_cfg cfg/frontend/PASE.cfg \
--data_cfg data/librispeech_data.cfg --min_lr 0.0005 --fe_lr 0.0005 \
--data_root data/LibriSpeech/wavs/ --stats data/librispeech_stats.pkl --lrdec_step 30 --lrdecay 0.5

要复制PASE+的训练，请执行以下命令：

python -u train.py --batch_size 16 --epoch 400 --save_path pase+_ckpt \
--num_workers 4 --warmup 10000000 --net_cfg cfg/workers/workers+.cfg \
--fe_cfg cfg/frontend/PASE+.cfg --data_cfg data/librispeech_data.cfg \
--min_lr 0.0005 --fe_lr 0.001 --data_root data/LibriSpeech/wavs/ \
--dtrans_cfg cfg/distortions/pase+.cfg \
--stats data/librispeech_stats_pase+.pkl \
--chunk_size 32000 \
--tensorboard False \
--backprop_mode base\
--random_scale True\
--lr_mode poly

4. 典型生态项目

PASE可以与其他开源项目集成，以构建更复杂的应用程序。例如，可以将其与语音识别、语音合成或情感分析工具结合使用，以提升整体系统的性能。

请遵循这些最佳实践来充分利用PASE项目的功能，并通过贡献您的代码和反馈来加入开源社区。