FunASR ONNX导出教程：轻量级部署的实现方法

在语音识别应用开发中，模型的高效部署是提升用户体验的关键环节。ONNX（Open Neural Network Exchange）作为一种开放式的模型格式，能够实现跨平台、跨框架的模型部署，特别适合资源受限环境下的轻量级应用。本文将详细介绍如何使用FunASR工具包将训练好的语音识别模型导出为ONNX格式，并完成量化优化，最终实现高效部署。

准备工作：环境配置与依赖安装

系统要求

• 操作系统：Linux/Unix或Windows
• Python版本：3.7及以上
• 依赖库：onnxruntime>=1.7.0, onnx>=1.10.0

安装步骤

首先克隆FunASR仓库并安装核心依赖：

git clone https://gitcode.com/gh_mirrors/fu/FunASR
cd FunASR
pip install -e .

ONNX导出功能需要额外安装相关依赖，可通过以下命令完成：

pip install onnx onnxruntime

对于ONNX Runtime的编译安装，可参考官方文档：runtime/onnxruntime/readme.md

ONNX导出核心实现：export_utils.py解析

FunASR的ONNX导出功能主要通过funasr/utils/export_utils.py实现，该模块提供了统一的模型导出接口，支持多种格式（ONNX、TorchScript等）和优化策略。

核心函数说明

• export(): 主导出函数，支持ONNX/torchscript/bladedisc等格式
• _onnx(): ONNX格式导出具体实现，包含动态轴设置和量化支持
• _torchscripts(): PyTorch脚本导出实现
• _bladedisc_opt_for_encdec(): 针对编码器/解码器的BladeDisc优化

导出流程概述

1. 模型准备：加载预训练模型并设置为评估模式
2. 输入构造：生成模型所需的虚拟输入数据
3. ONNX导出：调用torch.onnx.export()完成模型转换
4. 量化优化（可选）：对导出的ONNX模型进行INT8量化

实战教程：完整导出步骤

1. 基础导出代码示例

from funasr import AutoModel
from funasr.utils.export_utils import export

# 加载预训练模型
model = AutoModel(model="paraformer-large", model_revision="v2.0.4")

# 导出ONNX模型
export_dir = "./onnx_models"
export(
    model,
    type="onnx",
    output_dir=export_dir,
    quantize=False,  # 是否量化
    opset_version=14  # ONNX算子集版本
)

2. 量化优化实现

量化可以显著减小模型体积并提升推理速度，FunASR支持对ONNX模型进行动态量化：

export(
    model,
    type="onnx",
    output_dir=export_dir,
    quantize=True,  # 启用量化
    opset_version=14
)

量化过程会自动跳过输出层和偏置层，避免精度损失：funasr/utils/export_utils.py#L104-L106

3. 编译部署ONNX模型

导出完成后，可使用ONNX Runtime进行推理，或通过CMake编译C++运行时：

# 创建构建目录
cd runtime/onnxruntime
mkdir build && cd build

# 配置编译选项
cmake -DCMAKE_BUILD_TYPE=release .. \
  -DONNXRUNTIME_DIR=/path/to/onnxruntime-linux-x64-1.14.0 \
  -DFFMPEG_DIR=/path/to/ffmpeg-master-latest-linux64-gpl-shared

# 编译
make -j 4

详细编译指南参见：runtime/onnxruntime/readme.md

高级优化：FP16转换与性能调优

对于GPU部署场景，可将ONNX模型转换为FP16格式进一步提升性能：

# 导出FP16 ONNX模型
export(
    model,
    type="onnx_fp16",
    output_dir=export_dir,
    opset_version=14
)

该功能通过_onnx_opt_for_encdec()实现，会自动调整编码器输入尺度防止溢出：funasr/utils/export_utils.py#L222

部署验证：推理代码示例

Python推理

import onnxruntime as ort
import numpy as np

# 加载ONNX模型
sess = ort.InferenceSession("./onnx_models/model.onnx")

# 准备输入数据
input_data = np.random.randn(1, 16000).astype(np.float32)

# 推理
outputs = sess.run(None, {"input": input_data})
print("识别结果:", outputs[0])

C++推理

编译生成的ONNX Runtime可执行文件位于build/bin/Debug目录，使用方法参见：runtime/onnxruntime/readme.md

常见问题与解决方案

1. 导出时出现"符号不支持"错误

• 解决方案：升级PyTorch版本或降低opset_version
• 参考代码：funasr/utils/export_utils.py#L86

2. 量化后精度下降明显

• 解决方案：调整量化参数，排除关键层量化
• 相关代码：funasr/utils/export_utils.py#L104-L106

3. ONNX Runtime推理速度慢

• 解决方案：
  1. 使用GPU版本的ONNX Runtime
  2. 启用TensorRT加速
  3. 调整线程数：ort.InferenceSession(providers=["CPUExecutionProvider"], sess_options=so)

总结与展望

通过本文介绍的方法，开发者可以轻松将FunASR模型导出为ONNX格式，实现跨平台的高效部署。ONNX导出功能不仅支持基础的模型转换，还提供了量化、FP16优化等高级特性，满足不同场景下的部署需求。

未来，FunASR团队将持续优化ONNX导出流程，增加更多模型类型支持，并提供更完善的部署工具链。更多技术细节可参考：

• 官方文档：docs/tutorial/README_zh.md
• 模型库：model_zoo/modelscope_models_zh.md
• 部署示例：runtime/quick_start_zh.md

希望本文能帮助您顺利完成语音识别模型的轻量化部署，如有任何问题，欢迎在项目仓库提交issue交流反馈。