Stable Diffusion WebUI中DAT超分辨率模型的黑图问题分析与解决方案

问题背景

在使用Stable Diffusion WebUI进行高分辨率修复(hires fix)时，部分用户遇到了DAT超分辨率模型失效的问题。具体表现为：当选择DAT作为超分辨率模型时，最终生成的图像会变成一个黑色方块，无法正常完成超分辨率处理。

技术分析

通过深入分析问题日志和代码，我们发现该问题与以下几个技术因素密切相关：

1. 浮点数精度问题：系统日志中出现了"invalid value encountered in cast"的警告，表明在数据类型转换过程中出现了数值异常。

2. 自动混合精度(autocast)的影响：当启用自动混合精度训练时，在某些特定条件下会导致模型输出异常值(NaN)，进而导致最终图像数据无效。

3. 模型架构特性：DAT、HAT等特定类型的超分辨率模型对计算精度有特殊要求，而当前实现未能完全适配这些要求。

根本原因

问题的核心在于WebUI的超分辨率处理流程中，自动混合精度(autocast)与某些超分辨率模型存在兼容性问题。具体表现为：

1. 在高分辨率修复过程中，当使用Float16自动混合精度时，DAT等模型在特定条件下会产生NaN值。

2. 这些异常值在后续的图像数据转换过程中无法被正确处理，最终导致输出图像变为全黑。

3. 该问题主要出现在高分辨率修复流程中，而在单独的"Extras"超分辨率功能中较少出现，表明两个功能的实现存在差异。

解决方案

针对这一问题，开发团队提供了多种解决方案：

1. 临时解决方案：

   • 在启动参数中添加--no-half选项，强制禁用半精度计算
   • 或者手动修改代码，在关键位置禁用自动混合精度

2. 代码级修复：

   with devices.without_autocast():
       im = upscaler.scaler.upscale(im, scale, upscaler.data_path)
   

   这段代码确保在超分辨率计算过程中禁用自动混合精度，从而避免NaN值的产生。

3. 架构优化建议：

   • 对超分辨率处理流程进行重构，使用torchvision.transforms.v2代替直接的numpy操作
   • 实现更精细的精度控制机制，针对不同模型类型采用合适的计算精度

问题修复

该问题已在代码提交652a7bbf809d8885b3ba6d42321d5828f66ac4c6中得到修复。修复方案主要通过在超分辨率计算的关键位置禁用自动混合精度，确保计算过程的数值稳定性。

经验总结

这个案例为我们提供了几个重要的技术启示：

1. 自动混合精度虽然能提升计算效率，但在特定模型和场景下可能引入数值稳定性问题。

2. 图像生成流程中的每个环节都需要严格的数值验证，特别是在数据类型转换时。

3. 针对不同特性的模型(如DAT、HAT等)，需要设计差异化的处理策略。

4. 开发过程中应该建立更完善的异常值检测机制，避免无效数据进入后续处理流程。

通过这个问题的分析和解决，不仅修复了DAT模型的使用问题，也为WebUI的超分辨率处理流程的稳定性提升奠定了基础。