Stable Diffusion WebUI DirectML 项目中的 ONNX 模型转换问题分析与解决方案

问题背景

在使用 Stable Diffusion WebUI DirectML 项目时，部分用户在尝试将模型转换为 ONNX 格式时遇到了转换失败的问题。这个问题主要出现在使用特定模型（如 Corneos 7th Heaven Mix）进行图像生成时，控制台会显示关于"aten::scaled_dot_product_attention"的错误信息。

错误现象

当用户启用 ONNX Runtime 并尝试转换模型时，系统会报告以下关键错误：

Exporting the operator 'aten::scaled_dot_product_attention' to ONNX opset version 14 is not supported.

这个错误表明当前的 PyTorch 版本不支持将特定的注意力机制操作符导出到 ONNX 格式。

根本原因分析

该问题的核心在于 PyTorch 版本与 ONNX 导出功能的兼容性。具体来说：

1. 项目默认安装的 PyTorch 版本可能过低，缺少对某些新操作符的 ONNX 导出支持
2. 现代 Stable Diffusion 模型中使用的"scaled_dot_product_attention"操作需要较新的 PyTorch 版本才能正确导出
3. 在 DirectML 环境下，需要特别注意 PyTorch 版本与 DirectML 插件的兼容性

解决方案

经过项目维护者的验证，可以通过以下步骤解决此问题：

1. 激活项目的 Python 虚拟环境
2. 升级 PyTorch 到 2.2.0 版本
3. 同时升级 torchvision 库

具体操作命令如下：

.\venv\Scripts\activate
pip install torch==2.2.0 torchvision --upgrade

其他相关问题与解决方案

在解决 ONNX 转换问题的过程中，用户还可能遇到以下相关问题：

1. VAE 模型加载问题

部分用户报告在尝试使用自定义 VAE 时遇到属性错误。这是由于 ONNX 管道与原始 PyTorch 模型在属性结构上的差异导致的。解决方案包括：

• 确保使用 .safetensors 格式的 VAE 模型
• 检查 ONNX 设置中关于 VAE 的选项配置

2. SDXL 模型支持问题

对于 SDXL 模型，用户可能会遇到关于"diffusers_vae_upcast"属性的错误。这通常是由于：

• 模型缓存可能已损坏
• ONNX 管道配置不完整

解决方法包括清除缓存目录（./models/ONNX/cache）并重新尝试转换。

3. 提示词长度限制

ONNX 实现目前存在 77 个 token 的长度限制，这会影响复杂提示词的使用。虽然这不是一个错误，但用户需要注意控制提示词长度。

最佳实践建议

1. 对于新安装，建议完全删除旧的虚拟环境(venv目录)后重新初始化
2. 转换大型模型(如SDXL)时，确保系统有足够的内存资源
3. 定期清理ONNX缓存目录以避免潜在的模型加载问题
4. 在切换不同模型类型(SD1.5与SDXL)时，检查并调整相应的ONNX设置

总结

ONNX 模型转换在 Stable Diffusion WebUI DirectML 项目中是一个强大的功能，能够显著提升推理性能。通过正确配置 PyTorch 版本和遵循上述解决方案，用户可以顺利解决大多数转换问题。随着项目的持续更新，这些兼容性问题有望得到进一步改善。