Stable Diffusion WebUI Forge 在 M1/M2 Mac 上的 Flux 模式问题分析与解决方案

问题背景

Stable Diffusion WebUI Forge 是一个基于 Stable Diffusion 的增强版 WebUI，提供了更多高级功能和优化。其中 Flux 模式是一种创新的图像生成方式，但在 Apple Silicon（M1/M2/M3 系列）Mac 设备上运行时，用户普遍遇到了兼容性问题。

典型错误表现

在 M1/M2 Mac 设备上使用 Flux 模式时，主要会出现以下几种错误：

1. 线性层维度不匹配错误

   RuntimeError: linear(): input and weight.T shapes cannot be multiplied (4032x64 and 1x98304)
   

   这表明模型中的线性层输入与权重矩阵的维度不兼容。

2. 数据类型不支持错误

   TypeError: Cannot convert a MPS Tensor to float64 dtype as the MPS framework doesn't support float64. Please use float32 instead.
   

   MPS（Metal Performance Shaders）后端不支持 float64 数据类型。

3. 运算符未实现错误

   NotImplementedError: The operator 'aten::__rshift__.Scalar' is not currently implemented for the MPS device
   

   某些 PyTorch 运算符在 MPS 后端尚未实现。

根本原因分析

这些问题主要源于以下几个技术因素：

1. MPS 后端的限制：Apple 的 Metal Performance Shaders 虽然为 Mac 提供了 GPU 加速支持，但与 CUDA 相比功能尚不完善，特别是：

   • 不支持 float64 数据类型
   • 缺少某些特定运算符的实现
   • 对新型模型架构的支持有限

2. 模型量化问题：Flux 模型的不同量化版本（如 NF4、FP8、FP16）在 MPS 上的兼容性差异很大。

3. PyTorch 版本兼容性：不同版本的 PyTorch 对 MPS 的支持程度不同，可能导致某些功能在不同版本中表现不一致。

解决方案

经过社区验证，以下解决方案可以有效解决 M1/M2 Mac 上的 Flux 模式问题：

1. 使用正确的模型组合

推荐使用以下模型组合：

• 主模型：flux1-dev.safetensors 或 flux1-schnell.safetensors
• T5 文本编码器：t5xxl_fp16.safetensors

避免使用 NF4 量化版本的模型，因为这些版本通常需要 bitsandbytes 库的支持，而该库在 Mac 上的兼容性不佳。

2. 启用 MPS 回退到 CPU 的机制

在项目的 main.py 文件开头添加以下代码：

import os
os.environ['PYTORCH_ENABLE_MPS_FALLBACK'] = '1'

这允许 PyTorch 在遇到 MPS 不支持的运算时自动回退到 CPU 执行，虽然速度会有所下降，但能保证功能正常。

3. 更新 PyTorch 和相关依赖

执行以下命令确保使用最新版本的 PyTorch：

pip install --upgrade torch torchvision torchaudio

4. 使用社区修改版的 flux.py

从社区获取经过修改的 flux.py 文件替换原有版本，这些修改通常包含了对 MPS 后端的特定适配。

性能优化建议

虽然上述解决方案可以解决问题，但在 Mac 上运行 Flux 模式仍需注意性能优化：

1. 适当降低分辨率：从 1024x1024 降至 768x768 或更低
2. 减少采样步数：尝试 20-30 步而非默认的 50 步
3. 使用轻量级模型：如 flux1-schnell 而非 flux1-dev
4. 关闭不必要的后台应用以释放内存

替代方案

对于追求更好 Mac 兼容性的用户，可以考虑以下替代方案：

1. 使用专门为 Mac 优化的 Stable Diffusion 客户端，如 DrawThings
2. 考虑使用云服务运行资源密集型任务
3. 等待 PyTorch 对 MPS 后端的进一步改进

结论

虽然 Stable Diffusion WebUI Forge 的 Flux 模式在 Apple Silicon Mac 上存在兼容性问题，但通过正确的模型选择、环境配置和代码修改，仍然可以实现基本功能。随着 PyTorch 对 MPS 后端支持的不断完善，这些问题有望在未来得到更好的解决。建议用户关注 PyTorch 和 WebUI Forge 的更新日志，及时获取最新的兼容性改进。