FunASR项目中使用paraformer_streaming训练ONNX模型导出及推理问题解析

在语音识别领域，FunASR作为一个开源的语音识别工具包，提供了多种模型训练和推理方案。本文将重点分析在使用paraformer_streaming模型进行训练后，导出ONNX模型并在C++环境下运行时遇到的段错误问题及其解决方案。

问题现象

开发者在FunASR 1.0.19版本环境下，使用paraformer_streaming模型进行微调训练后，尝试将模型导出为ONNX格式。当使用funasr-onnx-online-asr工具进行推理测试时，程序在FunASRInferBuffer推理函数处发生了段错误（Segmentation Fault）。值得注意的是，使用官方提供的预训练模型（speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-online-onnx）则能正常运行。

环境配置

问题出现的环境配置如下：

• 操作系统：Ubuntu 22.04
• FunASR版本：1.0.19
• PyTorch版本：2.2.1
• Python版本：3.10
• ONNX版本：1.15.0
• ONNX Runtime版本：1.17.1

问题排查过程

通过GDB调试工具分析，发现段错误发生在模型推理阶段。进一步排查发现，问题的根源在于模型导出时缺少了必要的词汇表(tokens)信息。在FunASR中，词汇表信息对于模型的正确运行至关重要，特别是在处理语音识别任务时，它定义了模型能够识别的所有可能字符或子词单元。

解决方案

解决此问题的关键在于确保模型导出时包含完整的配置信息。具体步骤如下：

1. 在训练完成后，确保config.yaml文件中包含完整的tokens信息
2. 使用以下命令导出模型时，系统会自动将必要信息写入config.yaml：

model="outputs"

python -m funasr.bin.export \
++model=${model} \
++type="onnx" \
++quantize=true \
++device="cpu" \
++debug=false

3. 手动检查导出的config.yaml文件，确认其中包含tokens字段及其对应值

经验总结

1. 模型导出时，不仅要关注模型结构本身的转换，还需要确保所有相关配置信息的完整性
2. 对于语音识别模型，词汇表信息是模型能够正确运行的关键要素之一
3. 当遇到类似段错误时，可以优先检查模型输入输出是否符合预期，以及所有依赖的配置文件是否完整
4. 对比官方预训练模型和自己训练模型的配置文件差异，往往能快速定位问题所在

最佳实践建议

为了避免类似问题的发生，建议开发者在模型训练和导出过程中：

1. 始终保留完整的训练配置信息
2. 在导出模型前，验证模型配置文件的完整性
3. 建立模型导出后的验证流程，包括配置文件检查
4. 对于关键模型参数，考虑在代码中添加必要的验证逻辑
5. 保持开发环境和生产环境的一致性，特别是ONNX和ONNX Runtime的版本匹配

通过以上分析和解决方案，开发者可以避免在使用FunASR进行paraformer_streaming模型训练和ONNX导出时遇到的段错误问题，确保模型能够顺利部署到生产环境中。