Distil-Whisper模型评估结果复现的技术解析

在语音识别领域，模型评估的准确性至关重要。最近有研究人员在使用Distil-Whisper项目中的评估脚本时，发现复现结果与论文报告存在差异。本文将深入分析这一现象的技术原因，并提供解决方案。

评估结果差异的原因

研究人员发现，使用PyTorch版本的run_eval.py脚本评估distil-large-v2模型在Common Voice 13.0英语测试集上的WER(词错误率)比论文报告值高出几个百分点。经过技术分析，发现主要原因在于文本规范化处理器的选择不同：

1. PyTorch脚本默认使用BasicNormalizer进行文本规范化
2. 原始Flax评估脚本则使用EnglishNormalizer处理英语文本

这两种规范化处理器对文本的处理方式存在差异，特别是对于英语特有的缩写、数字和标点符号等元素的处理方式不同，这直接影响了最终的WER计算结果。

解决方案与验证

项目维护者迅速响应，通过以下改进解决了这一问题：

1. 修改PyTorch评估脚本，使其在评估英语模型时自动切换为EnglishNormalizer
2. 保持其他评估参数不变，包括批处理大小、数据类型和生成长度等

经过验证，使用改进后的脚本评估distil-large-v2模型，在相同测试集上获得了13.0%的WER，与论文报告的12.9%仅相差0.1个百分点。这一微小差异可以归因于：

• 计算平台差异(Flax/TPU vs PyTorch/GPU)
• 底层矩阵乘法实现的不同
• 浮点运算精度的细微差别

技术建议

对于需要精确复现论文结果的用户，建议：

1. 使用最新版本的评估脚本
2. 对于英语评估，确保启用EnglishNormalizer
3. 了解不同计算平台可能带来的微小差异

值得注意的是，论文中的比较实验(如large-v2与distil-large-v2的对比)都是在相同条件下进行的，因此结论仍然可靠。而速度指标(RTF)则统一使用PyTorch/GPU测量，更贴近实际应用场景。

这一案例展示了在机器学习研究中，即使是看似微小的实现细节(如文本规范化处理)也可能对评估结果产生显著影响，强调了实验复现时全面考虑各种技术细节的重要性。