Sherpa-onnx项目中SenseVoice模型粤语ITN功能失效问题分析

问题背景

在Sherpa-onnx开源语音识别项目中，用户报告了一个关于SenseVoice模型在处理粤语时ITN（逆文本归一化）功能失效的问题。ITN是语音识别系统中将识别结果中的数字、日期等转换为标准格式的重要功能。用户发现，当使用SenseVoice模型处理普通话时ITN功能正常，但切换到粤语时ITN功能却无法生效。

技术细节分析

模型配置验证

从用户提供的日志信息可以看出，服务启动时确实加载了SenseVoice模型，并且明确指定了ITN参数为true。服务配置显示使用了2024年7月17日发布的SenseVoice多语言模型（支持中文、英文、日语、韩语和粤语）。

现象对比

• 普通话场景：ITN功能正常工作，数字、日期等能够正确转换为标准格式
• 粤语场景：ITN功能失效，输出仅为原始识别文本，没有进行任何归一化处理

可能原因

1. 模型自身限制：SenseVoice模型可能没有为粤语实现完整的ITN处理逻辑
2. 语言识别问题：模型可能未能正确识别输入为粤语，导致未应用对应的ITN规则
3. 规则缺失：粤语的ITN规则库可能不完整或存在缺陷

解决方案建议

临时解决方案

1. 使用外部ITN处理：可以利用Sherpa-onnx项目自带的rule_fsts功能，绕过模型的ITN处理，自行实现后处理
2. 模型替换：尝试使用其他支持粤语ITN的模型替代SenseVoice

长期解决方案

1. 模型更新：联系SenseVoice模型开发者，反馈此问题并等待修复
2. 自定义规则开发：基于项目提供的规则引擎，为粤语开发专门的ITN处理规则

技术实现建议

对于需要立即解决问题的开发者，可以考虑以下实现方案：

1. 在识别结果后处理阶段，添加自定义的粤语ITN处理模块
2. 利用正则表达式和规则引擎，针对粤语特有的数字、日期表达方式编写转换规则
3. 建立语言检测机制，对不同语言的识别结果应用不同的ITN处理流程

总结

Sherpa-onnx项目中SenseVoice模型的粤语ITN功能失效问题，反映了多语言语音识别系统中一个常见的技术挑战。开发者需要根据实际需求，权衡使用模型内置功能与外部处理方案的利弊。对于粤语识别场景，目前可能需要结合外部ITN处理才能获得理想的识别结果。随着语音识别技术的不断发展，这一问题有望在未来的模型版本中得到根本解决。