Automatic项目中的ONNX Runtime与ROCm版本兼容性分析

ONNX Runtime作为深度学习推理引擎，在Automatic项目中扮演着重要角色。近期社区发现，当使用ROCm 5.7及以上版本时，ONNX Runtime的安装会出现兼容性问题。

问题背景

Automatic项目当前默认安装的ONNX Runtime版本为1.16.3，该版本仅支持ROCm 5.6及以下版本。对于ROCm 5.7和6.0用户，官方仅提供了1.17及以上版本的ONNX Runtime支持。这种版本不匹配导致安装过程中无法找到对应的软件包。

技术分析

ONNX Runtime针对不同硬件平台提供了专门的优化版本：

• 对于NVIDIA GPU，提供CUDA版本支持
• 对于AMD GPU，提供ROCm版本支持

目前ONNX Runtime的发布策略存在一定挑战：

1. 稳定版发布周期较长
2. 对新硬件平台的支持往往首先出现在nightly构建中
3. 版本命名包含构建编号，增加了自动化安装的复杂度

解决方案

针对这一问题，Automatic项目提供了几种应对方案：

1. 环境变量覆盖：用户可以通过设置ONNXRUNTIME_PACKAGE环境变量，手动指定要安装的ONNX Runtime包。

2. 使用nightly构建：对于ROCm 5.7和6.0用户，可以安装ONNX Runtime的nightly构建版本，这些版本已经包含了对新ROCm版本的支持。

3. 回退到CPU模式：当GPU版本不可用时，ONNX Runtime可以自动回退到CPU模式运行，虽然性能会有所下降，但保证了功能的可用性。

最佳实践建议

对于使用AMD GPU的用户，建议：

1. 根据ROCm版本选择合适的ONNX Runtime版本
2. 定期检查ONNX Runtime的发布状态，及时更新到稳定版本
3. 在性能要求不高的场景下，可以考虑使用CPU模式作为临时解决方案

项目维护者正在密切关注ONNX Runtime的发布动态，未来版本可能会改进这一兼容性问题。用户也可以通过参与社区讨论，分享自己的解决方案和经验。