SpeechBrain项目中DPRNN模型在WSJ0-2Mix数据集上的性能复现问题分析

问题背景

在语音分离领域，DPRNN(Dual-Path RNN)模型在WSJ0-2Mix数据集上被广泛认为是一种性能优异的模型。SpeechBrain开源项目提供了该模型的实现和训练配方，官方文档显示该模型在验证集上应能达到-18.5dB的Si-SNR指标。

性能差异现象

开发者在使用SpeechBrain提供的dprnn.yaml配置文件进行训练时，发现模型性能明显低于预期。训练日志显示，经过27个epoch后，模型在验证集上的Si-SNR指标仅达到-15dB左右，远低于官方声称的-18.5dB。

问题根源分析

经过深入调查，发现问题出在数据预处理阶段。开发者最初使用了.wv1和.wv2两种格式的Sphere音频文件来生成.wav格式的训练数据。然而，WSJ0-2Mix数据集的基准结果实际上都是基于.wv1格式的音频文件获得的。

解决方案

采用Asteroïd工具包中的convert_sphere2wav.sh脚本，仅使用.wv1格式的原始音频文件进行转换，确保数据源与基准测试一致。这一调整显著改善了模型性能。

复现结果

使用修正后的数据处理方法后：

• 在43个epoch后达到-17.731dB的Si-SNR
• 最终在200个epoch后达到：
  • 验证集：-19.9dB
  • 测试集：-19.7dB 这一结果甚至超过了原论文报告的-18.8dB性能

训练配置细节

• 学习率：1.5e-4
• 批量大小：1
• 滤波器数量(N_filters)：256
• 未使用速度增强(Speed Augment)和动态混合(Dynamic Mixing)
• 使用单个A40 GPU(48GB显存)
• 训练时间：约30小时(43个epoch)

经验总结

1. 数据预处理的一致性对模型性能有决定性影响
2. 即使是相同的数据集，不同的音频格式处理方式可能导致显著性能差异
3. 对于语音分离任务，严格遵循基准测试的数据处理流程至关重要
4. 使用Asteroïd工具包的数据处理脚本可以确保与主流研究保持一致性

这一案例强调了在复现深度学习模型时，数据预处理环节的重要性往往不亚于模型架构和训练策略本身。