Sherpa-ONNX 项目中使用 CUDA 12 的兼容性问题解析

Sherpa-ONNX 是一个基于 ONNX 运行时的高性能语音识别工具包。在部署过程中，用户可能会遇到 CUDA 版本兼容性问题，特别是当系统安装了 CUDA 12 而项目默认要求 CUDA 11 时。

问题现象

当用户在已安装 CUDA 12 的环境中运行 Sherpa-ONNX 时，系统会报错提示找不到 CUDA 11 的库文件（libcublasLt.so.11），即使已正确设置了 LD_LIBRARY_PATH 环境变量指向 CUDA 12 的库路径。

问题根源

Sherpa-ONNX 默认构建时依赖 ONNX 运行时的特定版本，该版本通常针对 CUDA 11.8 进行优化和编译。这种硬编码的依赖关系导致即使系统中安装了更高版本的 CUDA，程序仍会寻找特定版本的 CUDA 库文件。

解决方案

要解决此问题，用户需要重新构建 Sherpa-ONNX 并指定支持 CUDA 12 的 ONNX 运行时版本。具体步骤如下：

1. 获取 Sherpa-ONNX 源代码
2. 修改项目配置，指定使用支持 CUDA 12 的 ONNX 运行时版本
3. 重新编译和安装 Sherpa-ONNX

注意事项

• 确保系统中已正确安装 CUDA 12 和对应的 cuDNN
• 验证环境变量（如 LD_LIBRARY_PATH）是否指向正确的 CUDA 12 库路径
• 选择与 CUDA 12 兼容的 ONNX 运行时版本
• 如果同时使用 PyTorch，确保其 CUDA 版本与 Sherpa-ONNX 使用的版本一致

最佳实践

对于生产环境部署，建议：

1. 统一项目中所有组件的 CUDA 版本
2. 使用虚拟环境隔离不同项目的依赖
3. 在容器化部署中明确指定 CUDA 版本
4. 定期更新依赖以保持与最新 CUDA 版本的兼容性

通过以上方法，用户可以成功在 CUDA 12 环境中运行 Sherpa-ONNX，充分利用最新 CUDA 版本的性能优势。