在Sherpa-onnx项目中适配CUDA 10.2环境的解决方案

背景介绍

Sherpa-onnx是一个基于ONNX Runtime的语音识别工具包，它依赖于CUDA进行GPU加速。然而，在实际部署过程中，我们可能会遇到CUDA版本兼容性问题。本文将详细介绍如何在CUDA 10.2环境下成功编译和使用Sherpa-onnx。

环境适配方案

1. 确定兼容的ONNX Runtime版本

首先需要确认ONNX Runtime与CUDA 10.2的兼容性。根据官方文档，ONNX Runtime 1.13版本支持CUDA 10.2环境。这是解决兼容性问题的关键第一步。

2. 修改CMake配置文件

在Sherpa-onnx项目中，需要修改cmake/onnxruntime-linux-x86_64-gpu.cmake文件，将默认的ONNX Runtime版本从1.17.1更改为1.13.0。具体修改内容如下：

1. 更新下载链接指向1.13.0版本的ONNX Runtime
2. 确保SHA256校验码与1.13.0版本匹配

3. 编译配置调整

在编译时需要添加特定的CMake选项：

cmake \
  -DSHERPA_ONNX_ENABLE_PYTHON=ON \
  -DBUILD_SHARED_LIBS=ON \
  -DSHERPA_ONNX_ENABLE_CHECK=OFF \
  -DSHERPA_ONNX_ENABLE_PORTAUDIO=OFF \
  -DSHERPA_ONNX_ENABLE_C_API=OFF \
  -DSHERPA_ONNX_ENABLE_WEBSOCKET=OFF \
  -DSHERPA_ONNX_ENABLE_GPU=ON \
  -DCMAKE_PREFIX_PATH=/path/to/tvm \
  -DCMAKE_EXE_LINKER_FLAGS="-Wl,-rpath,/path/to/tvm" \
  ..

4. 解决编译错误

在编译过程中可能会遇到以下错误：

error: 'OrtCudnnConvAlgoSearchHeuristic' was not declared in this scope

这是由于不同版本的ONNX Runtime API有所变化。需要根据1.13.0版本的API进行相应调整，将相关参数修改为兼容的形式。

Python包构建

成功编译后，需要构建Python wheel包以便安装使用：

1. 设置环境变量确保使用GPU版本：

   export SHERPA_ONNX_ENABLE_GPU=ON
   

2. 构建wheel包：

   python3 setup.py bdist_wheel
   

3. 生成的wheel包位于dist目录下

常见问题解决

GLIBCXX版本问题

安装后运行时可能出现GLIBCXX版本不匹配的错误：

libstdc++.so.6: version `GLIBCXX_3.4.30' not found

解决方案：

1. 升级GCC到12.1.0或更高版本
2. 或者在编译时指定使用较低版本的GLIBCXX

Conda环境问题

建议避免使用Conda环境，因为它可能会引入额外的兼容性问题。可以使用Python原生虚拟环境：

python3 -m venv venv
source venv/bin/activate

总结

通过选择合适的ONNX Runtime版本、修改编译配置以及解决运行时依赖问题，我们成功地在CUDA 10.2环境下部署了Sherpa-onnx。这一过程展示了在受限环境中适配开源项目的通用方法：理解依赖关系、选择兼容版本、调整编译配置以及解决运行时问题。