Wenet项目中Whisper-large-v3模型CTC解码异常问题分析

问题现象

在使用Wenet项目中的Whisper-large-v3模型进行训练时，研究人员发现了一个有趣的现象：当使用CTC解码模式(包括ctc_greedy_search、ctc_prefix_beam_search和attention_rescoring)时，解码结果中会出现特殊字符"�"，而使用纯attention解码时则表现正常。

具体表现为：

• 在CTC解码模式下，部分词汇会被替换为"�"字符
• 解码结果与标签存在明显差异
• 纯attention解码结果相对准确

问题根源

经过深入分析，这个问题主要由以下几个因素共同导致：

1. 词表规模差异：Whisper的词表包含约6万个token，而传统中文ASR系统(如AISHELL)通常只有约4千个token。这种巨大的词表规模差异导致CTC解码时，只有很小一部分权重参与了有效训练。

2. 训练不充分：由于词表规模大，模型需要更长时间的训练才能充分学习所有可能的token表示。在训练轮次不足的情况下，部分token的表示学习不充分，导致解码异常。

3. 条件独立性假设：CTC解码基于条件独立性假设，缺乏对上下文的建模能力，这使得它对未充分训练的token更加敏感。

解决方案

针对这一问题，Wenet项目组提出了以下解决方案：

1. 分离tokenizer：为CTC解码和attention解码使用不同的tokenizer，这可以有效减少解码时的冲突。

2. 增加训练轮次：由于词表规模大，需要适当增加训练轮次，确保模型充分学习所有token的表示。

3. 多语种训练优化：对于多语种场景(如同时包含普通话和粤语)，建议：

   • 在数据集中明确标注task和language信息
   • 修改数据处理流程，确保语种信息能够正确传递到模型
   • 针对不同语种优化训练策略

技术建议

对于遇到类似问题的开发者，建议采取以下措施：

1. 检查词表对齐：确保训练数据与模型词表良好对齐，特别是处理多语种场景时。

2. 监控训练过程：密切关注训练过程中不同解码模式的性能差异，及时发现潜在问题。

3. 渐进式训练：可以考虑先在小规模数据上微调，再逐步扩展到全量数据。

4. 解码策略选择：在实际应用中，根据任务需求选择合适的解码策略，必要时可以组合使用多种解码方法。

总结

Whisper-large-v3在Wenet项目中的应用展示了大规模预训练模型在语音识别任务中的强大潜力，同时也带来了新的技术挑战。通过深入理解模型机制和精心设计训练策略，可以有效解决CTC解码异常等问题，充分发挥模型性能。未来，随着多语种支持等功能的进一步完善，这类模型在实际应用中的价值将更加凸显。