Distil-Whisper项目中的Librispeech测试集WER评估分析

在语音识别领域，词错误率(WER)是评估模型性能的重要指标。本文针对Distil-Whisper项目中的Librispeech测试集评估结果进行了深入分析，特别关注了不同模型配置下的WER表现差异。

评估环境配置

评估使用了Distil-Whisper项目提供的短格式评估脚本，测试集为Librispeech的clean测试集。测试了OpenAI的Whisper Large-v2、Small和Tiny三个不同规模的模型。

语言参数对WER的影响

在初始评估中，发现当在评估脚本中显式设置--language "en"参数时，得到的WER结果高于HuggingFace模型卡中报告的值。例如：

• Large-v2模型：3.1683 (带语言参数) vs 3.0004 (模型卡)
• Small模型：4.0682 (带语言参数) vs 3.4322 (模型卡)

去除语言参数后重新评估，WER结果显著下降：

• Large-v2模型降至2.5685
• Small模型降至3.44541

模型性能对比

不同规模模型在去除语言参数后的表现：

1. Large-v2模型：

   • 评估WER：2.5685
   • 优于原始论文报告的2.7%
   • 优于HuggingFace模型卡的3.0004%

2. Small模型：

   • 评估WER：3.44541
   • 与HuggingFace模型卡的3.4322%基本一致

3. Tiny模型：

   • 评估WER：7.6439
   • 与HuggingFace模型卡的7.6236%基本一致

技术分析与建议

1. 语言参数的影响：

   • 显式设置语言参数可能导致模型在解码过程中进行额外的语言处理，影响最终识别结果
   • 对于明确单语种的数据集，可能不需要显式指定语言参数

2. 模型规模与性能：

   • 大型模型在去除语言参数后表现出超出预期的性能
   • 小型和微型模型的评估结果与官方报告高度一致，验证了评估流程的可靠性

3. 评估实践建议：

   • 对于英语单语种评估，建议不设置语言参数
   • 评估结果应与多个基准进行对比，包括原始论文和模型卡数据
   • 注意评估时的其他参数设置，如beam size等，都可能影响最终结果

结论

通过对Distil-Whisper项目中Librispeech测试集的评估分析，我们发现评估时的语言参数设置对WER结果有显著影响。在英语单语种评估场景下，不设置语言参数可以获得更优且与官方基准更一致的结果。这一发现对于正确评估和比较语音识别模型性能具有重要参考价值。