Wenet项目中Whisper模型CTC解码出现特殊字符问题的分析与解决

问题背景

在Wenet项目中使用Whisper-large-v3模型进行语音识别训练时，研究人员发现了一个有趣的现象：当使用CTC解码模式（包括ctc_greedy_search、ctc_prefix_beam_search和attention_rescoring）时，解码结果中会出现特殊字符"�"，而使用纯attention解码则表现正常。

现象描述

研究人员使用100小时的语音数据（50小时普通话+50小时粤语）进行训练，遵循aishell示例中的Whisper设置，并指定单一语种"zh"。训练40轮后观察到以下现象：

1. CTC解码模式下，输出结果中频繁出现"�"字符
2. Attention解码模式下，输出结果完全正常
3. 这种现象在全量微调和LoRA微调模式下都会出现

原因分析

经过深入分析，发现这个问题主要由以下几个因素导致：

1. 词表规模差异：Whisper的词表包含6万个token，而传统中文ASR系统（如aishell）通常只有4千左右的词表。这种巨大的词表差异导致CTC层的很多权重在训练过程中没有得到充分学习。

2. 训练不充分：由于词表规模大，CTC层的很多参数在有限训练数据下没有得到充分训练，导致解码时产生不确定的输出。

3. 字节级建模特性：Whisper采用字节级建模方式，而CTC的条件独立性假设使得模型难以学习到足够的上下文信息，这也是产生特殊字符的原因之一。

解决方案

针对这个问题，Wenet项目组提出了以下解决方案：

1. 使用不同的tokenizer：为CTC解码和Attention解码分别使用不同的tokenizer，这样可以更好地适应不同解码方式的特点。

2. 多语种训练支持：通过修改数据集处理逻辑，添加task和language的ID信息，使模型能够正确处理多语种数据。

3. 充分训练：增加训练数据量和训练轮数，确保CTC层的所有参数都能得到充分训练。

技术实现细节

在实际实现中，需要注意以下几点：

1. 在数据集处理阶段，需要为每条数据添加task和language的ID信息
2. 这些ID信息不仅用于推理阶段，在训练阶段也同样重要，它们帮助模型匹配Whisper原始的训练方式
3. 对于多语种场景，需要确保语种ID能够正确传递给tokenizer

总结

Whisper模型在Wenet项目中的应用展现了强大的语音识别能力，但在实际使用中也会遇到一些特定问题。通过深入理解模型原理和仔细分析问题现象，我们能够找到有效的解决方案。对于CTC解码出现特殊字符的问题，采用不同的tokenizer策略和充分的多语种支持是关键的解决方向。这些经验也为后续在Wenet项目中更好地应用Whisper模型提供了宝贵参考。