Stable Diffusion WebUI AMDGPU项目中的Textual Inversion与SDXL兼容性问题分析

问题现象

在使用Stable Diffusion WebUI AMDGPU项目时，用户报告了一个关于Stable Diffusion XL（SDXL）模型与Textual Inversion功能不兼容的问题。当尝试在SDXL模型中使用Textual Inversion嵌入时，系统会抛出运行时错误："RuntimeError: Expected attn_mask dtype to be bool or to match query dtype, but got attn_mask.dtype: float and query.dtype: struct c10::Half instead"。

技术背景

Textual Inversion是Stable Diffusion中的一项重要功能，它允许用户通过少量样本图像训练自定义概念，并将这些概念以文本嵌入的形式保存下来，在后续生成中通过特定触发词调用。而SDXL是Stable Diffusion的最新大模型版本，具有更高的图像生成质量。

问题根源分析

从错误日志可以看出，问题出在注意力掩码（attn_mask）的数据类型与查询（query）数据类型不匹配。具体表现为：

1. 注意力掩码期望的数据类型是布尔型或与查询类型匹配
2. 实际获得的注意力掩码是浮点型（float）
3. 而查询类型是半精度浮点型（struct c10::Half）

这种类型不匹配导致模型在进行多头注意力计算时失败。问题可能源于：

• AMDGPU版本对SDXL模型的支持不完善
• Textual Inversion实现与SDXL模型架构的兼容性问题
• 特定硬件环境下（如AMD显卡）的类型转换异常

解决方案

根据用户反馈，使用ZLUDA可以解决此问题。ZLUDA是一个允许CUDA代码在AMD GPU上运行的开源兼容层。实施步骤如下：

1. 安装必要的运行环境：

   • Visual C++ Runtime
   • HIP SDK

2. 修改启动参数： 在webui-user.bat文件中设置COMMANDLINE_ARGS= --autolaunch --use-zluda

3. 重新安装整个环境（建议全新安装）

技术建议

对于遇到类似问题的用户，建议：

1. 检查模型兼容性：确认使用的Textual Inversion嵌入是专门为SDXL模型训练的版本

2. 更新依赖库：确保所有Python依赖库（特别是PyTorch）为最新兼容版本

3. 数据类型调试：可以尝试在代码中强制转换注意力掩码的数据类型

4. 替代方案：如果问题持续，可考虑使用其他兼容的嵌入方法，如LoRA

结论

Stable Diffusion生态系统中不同组件间的兼容性问题时有发生，特别是在跨硬件平台（如AMD GPU）和跨模型版本（如SDXL）的情况下。通过使用兼容层如ZLUDA，或等待官方更新修复，可以解决大部分此类问题。开发者也应关注数据类型一致性这一常见错误源，在模型集成时进行充分测试。