Stable Diffusion WebUI DirectML 中 ControlNet ONNX Runtime 问题的分析与解决

问题背景

在 Stable Diffusion WebUI DirectML 项目中，用户从 v1.9.3-amd-30-gee49046 升级到 v1.10.1-amd-2-g395ce8dc 版本后，发现 ControlNet 的 IP-Adapter 功能（特别是 ip-adapter-faceid-plusv2_sd15 模型）无法正常工作。错误日志显示与 ONNX Runtime 初始化相关的 CUDA 调用失败。

技术分析

错误根源

从错误日志中可以观察到几个关键点：

1. CUDNN_STATUS_INTERNAL_ERROR：这表明在尝试初始化 ONNX Runtime 时，CUDA 深度神经网络库(cuDNN)内部出现了问题。
2. cudnnSetStream 调用失败：具体是在设置 CUDA 流时发生的错误，这通常与 GPU 资源分配或兼容性问题有关。
3. ONNX Runtime 初始化异常：错误发生在 ONNX Runtime 尝试使用 CUDA 执行提供程序时。

深层原因

这个问题实际上与 AMD GPU 的特殊性有关。虽然项目名称为 DirectML，但用户实际上使用的是通过 Pinokio 安装的版本，而 Pinokio 并不完全支持 AMD WebUI 与 ZLUDA 的组合。ZLUDA 是一个能让 CUDA 代码在 AMD GPU 上运行的技术，比 DirectML 有更好的性能表现。

解决方案

推荐方案

1. 使用专为 AMD GPU 优化的安装方式：

   • 避免使用 Pinokio 安装，而是采用专门针对 AMD GPU 的安装指南
   • 使用 ZLUDA 替代 DirectML，因为 ZLUDA 对支持的 AMD GPU 性能更好

2. 跳过 ONNX Runtime 安装：

   • 对于 ZLUDA 版本，ONNX Runtime 不是必需的组件
   • 在安装时可以使用 --skip-ort 参数跳过 ONNX Runtime 的安装

版本兼容性建议

• 如果必须使用 ControlNet 的 IP-Adapter 功能，可以考虑暂时回退到 v1.9.3-amd-30-gee49046 版本
• 等待后续版本修复 ONNX Runtime 在 AMD GPU 上的兼容性问题

技术建议

对于 AMD GPU 用户，建议：

1. 了解硬件限制：不是所有 AMD GPU 都完全支持所有深度学习工作流，特别是在使用某些特定的预处理模型时
2. 选择正确的技术栈：根据 GPU 型号选择最适合的技术方案（ZLUDA 或 DirectML）
3. 关注版本更新：AMD GPU 在深度学习领域的支持正在不断改进，及时关注项目更新可以避免许多兼容性问题

总结

这个问题本质上是由于 AMD GPU 在特定环境下的兼容性问题导致的。通过采用正确的安装方式和技术方案，可以避免此类问题并获得更好的性能表现。对于依赖 ControlNet IP-Adapter 功能的用户，建议遵循专门的 AMD GPU 安装指南，而不是使用通用的安装方法。