stable-diffusion-webui-directml项目中DirectML与Real-ESRGAN模型兼容性问题分析

问题背景

在stable-diffusion-webui-directml项目中，当用户尝试使用高分辨率修复功能（highres fix）配合Real-ESRGAN系列模型（包括R-ESRGAN、R-ESRGAN-ANIME、DAT、SwinIR等）进行图像处理时，系统会抛出运行时错误。值得注意的是，该问题仅出现在DirectML后端环境下，而其他第三方超分辨率模型如SwinIR、ScuNET和fatal anime等则能正常工作。

错误现象

系统会抛出以下关键错误信息：

RuntimeError: don't know how to restore data location of torch.storage.UntypedStorage (tagged with privateuseone:0)

这个错误表明PyTorch在尝试加载Real-ESRGAN模型权重时，无法正确处理DirectML设备（标记为privateuseone:0）上的存储位置恢复操作。

技术分析

1. DirectML与PyTorch的兼容性问题：

   • DirectML是微软提供的跨厂商DirectX 12加速机器学习库
   • PyTorch通过"privateuseone"后端标记支持DirectML
   • 在模型加载过程中，PyTorch的序列化系统无法正确识别DirectML设备上的存储位置

2. Real-ESRGAN模型特殊性：

   • 使用.pth格式保存模型权重
   • 模型结构包含特定的超分辨率网络架构
   • 在加载过程中需要特殊的设备位置处理

3. 根本原因：

   • DirectML对PyTorch存储系统的支持不完整
   • 微软DirectML项目中已知的兼容性问题（编号196）
   • 模型加载时设备位置恢复逻辑缺失

解决方案

1. 临时解决方案：

   • 使用ZLUDA作为替代方案
   • 切换到SD.Next分支版本
   • 使用其他兼容的超分辨率模型

2. 长期解决方案：

   • 等待微软修复DirectML中的基础兼容性问题
   • 关注PyTorch对DirectML后端的支持改进

技术建议

对于需要在DirectML环境下使用Real-ESRGAN模型的开发者，建议：

1. 考虑将模型转换为其他格式（如ONNX）后再加载
2. 在CPU上加载模型后再转移到DirectML设备
3. 监控PyTorch和DirectML的版本更新，及时测试兼容性改进

总结

stable-diffusion-webui-directml项目中出现的Real-ESRGAN模型加载问题，反映了DirectML后端在PyTorch生态系统中的兼容性挑战。虽然目前存在一些限制，但通过选择合适的替代方案或等待官方修复，用户仍能获得良好的超分辨率处理体验。开发者应关注相关技术的演进，以便在未来获得更完善的支持。