Wenet项目Horizon BPU运行时构建问题分析与解决

问题背景

Wenet是一个端到端语音识别工具包，支持多种硬件平台。其中Horizon BPU（Brain Processing Unit）是某公司开发的AI加速芯片。在使用Wenet构建Horizon BPU运行时环境时，开发者可能会遇到一系列依赖和构建问题。

主要问题分析

1. 依赖冲突问题

在安装Horizon相关软件包时，出现了protobuf版本冲突问题。具体表现为：

• onnx 1.17.0要求protobuf≥3.20.2
• tensorboard 2.14.0要求protobuf≥3.19.6
• horizon-tc-ui 1.11.2要求protobuf≤3.19.4且≥3.8.0

这种依赖冲突在Python生态系统中较为常见，特别是在使用特定硬件加速库时，因为这些库往往对依赖版本有严格要求。

2. 构建过程中的头文件缺失

在构建decoder_main时，出现了头文件缺失错误：

fatal error: processor/wetext_processor.h: No such file or directory

这表明CMake构建系统未能正确包含必要的头文件路径。

3. 运行时导入错误

在模型转换步骤中，出现了多个导入错误：

• 无法从wenet.utils.common导入remove_duplicates_and_blank
• 无法找到torch.utils.data.datapipes.iter.sharding模块
• 无法从typeguard导入check_argument_types

这些错误反映了代码与依赖版本之间的不兼容问题。

解决方案

1. 依赖版本管理

针对protobuf版本冲突，推荐使用以下版本组合：

pip install protobuf==3.19.4
pip install onnx==1.12.0

对于typeguard导入错误，需要降级到2.13.3版本：

pip install typeguard==2.13.3

2. CMake构建系统修复

在CMakeLists.txt中添加wetextprocessing模块包含：

include(wetextprocessing)

这一修改确保了构建系统能够找到必要的处理器头文件。

3. 代码兼容性调整

对于导入错误，需要进行以下修改：

1. 将from wenet.utils.common import remove_duplicates_and_blank改为：

from wenet.utils.ctc_utils import remove_duplicates_and_blank

2. 对于torch datapipes问题，建议使用与PyTorch 1.13.0兼容的Wenet版本。

最佳实践建议

1. 环境隔离：使用conda或virtualenv创建独立环境，避免系统Python环境的干扰。

2. 版本控制：严格按照硬件厂商推荐的版本组合安装依赖。

3. 逐步验证：分步骤验证环境配置，确保每一步都成功后再继续。

4. 代码版本选择：对于特定硬件支持，建议使用发布版本而非最新代码，以确保稳定性。

5. 错误处理：遇到导入错误时，首先检查相关模块在不同版本中的变更历史。

总结

Wenet项目对Horizon BPU的支持涉及复杂的依赖关系和构建过程。通过合理管理依赖版本、调整构建配置和修改必要的代码导入，可以成功完成运行时环境的构建。这些经验也适用于其他AI加速硬件的适配工作，强调了在异构计算环境中版本管理和系统集成的重要性。