FunASR项目中使用paraformer_streaming模型导出ONNX及推理问题解析

问题背景

在FunASR语音识别项目中，用户尝试使用paraformer_streaming模型进行微调训练后导出ONNX格式模型，但在使用funasr-onnx-online-asr工具进行推理时遇到了C++段错误问题。这个问题特别出现在用户自定义训练的模型上，而使用官方提供的预训练模型则能正常运行。

问题现象

用户在使用自行训练的paraformer_streaming模型导出ONNX后，通过funasr-onnx-online-asr工具进行推理时，程序在FunASRInferBuffer函数处发生段错误。具体表现为：

1. 使用官方基础模型(iic/speech_paraformer_asr_nat-zh-cn-16k-common-vocab8404-online)能正常运行
2. 使用自定义训练的模型导出ONNX后出现段错误
3. 错误发生在funasr-onnx-online-asr.cpp文件的148行位置

环境配置

问题出现的环境配置如下：

• 操作系统：Ubuntu 22.04
• FunASR版本：1.0.19
• PyTorch版本：2.2.1
• Python版本：3.10
• ONNX版本：1.15.0
• ONNX Runtime版本：1.17.1

问题原因分析

经过深入排查，发现问题根源在于模型配置文件config.yaml。具体原因如下：

1. tokens信息缺失：自定义训练模型导出的config.yaml文件中缺少必要的tokens信息
2. 配置不一致：虽然用户在训练时保持了与基础模型相同的配置，但在导出过程中可能遗漏了某些关键配置项的传递
3. 运行时依赖：funasr-onnx-online-asr工具在加载模型时需要完整的配置信息，特别是tokens信息用于词汇表映射

解决方案

解决此问题的关键在于确保config.yaml文件的完整性，特别是tokens信息的正确写入：

1. 检查config.yaml：确保导出的模型目录中的config.yaml文件包含完整的tokens列表
2. 导出时验证配置：在模型导出阶段，应该验证所有必要配置项是否被正确保留
3. 对比官方模型：将自定义模型的config.yaml与官方提供的模型配置文件进行对比，确保结构一致

经验总结

1. 模型导出完整性检查：在导出ONNX模型时，不仅要关注模型结构本身，还需要确保所有相关配置文件完整无误
2. 配置继承机制：了解FunASR项目中配置文件的继承和覆盖机制，确保训练和导出阶段的配置一致性
3. 调试技巧：遇到类似段错误时，可以通过对比正常工作的模型和问题模型来缩小排查范围

预防措施

为避免类似问题再次发生，建议采取以下预防措施：

1. 建立配置检查清单：在模型导出前，建立关键配置项的检查清单
2. 自动化验证：开发自动化脚本验证导出模型的完整性
3. 文档记录：详细记录模型训练和导出流程，特别是配置相关的注意事项

通过这次问题的解决，我们更加认识到在模型训练和导出过程中配置文件的重要性，特别是在跨平台、跨语言推理场景下，所有依赖信息都必须完整传递。