ComfyUI-GGUF 在 Apple Silicon 上的 GPU 加速实践

随着 Apple Silicon 芯片的普及，越来越多的开发者希望在 Mac 设备上运行深度学习模型。本文将详细介绍如何在搭载 M 系列芯片的 Mac 设备上成功运行 ComfyUI-GGUF 项目，并实现 GPU 加速。

问题背景

在 Apple Silicon 设备上运行 ComfyUI-GGUF 时，用户可能会遇到一个关键错误："The operator 'aten::rshift.Tensor' is not currently implemented for the MPS device"。这是由于 PyTorch 对 MPS 后端的支持尚不完全，特别是位运算操作（如右移位运算）尚未实现。

解决方案演进

临时解决方案

早期用户可以通过设置环境变量 PYTORCH_ENABLE_MPS_FALLBACK=1 来让不支持的运算回退到 CPU 执行。虽然这种方法能让程序运行，但性能较差，在 M1 Pro 芯片上处理 512x512 的潜在图像时，每迭代需要约 32 秒。

性能优化方案

有开发者提出将右移位运算替换为整数除法运算的方案：

qs = qs.reshape((n_blocks, -1, 1, block_size // 2)) // torch.tensor([1, 16], device=d.device, dtype=torch.uint8).reshape((1, 1, 2, 1))

这种方法虽然能在 MPS 上运行，但性能提升有限，特别是对于 Q4_1 等量化模型。

最佳实践方案

目前最推荐的解决方案是安装 PyTorch 的 nightly 版本，该版本已经添加了对 MPS 设备上右移位运算的支持。用户可以通过以下命令升级：

pip install -U torch --pre

性能对比

在实际测试中，使用 M3 Pro 芯片（18GB 内存）运行 fluxunchained-schnell-dev-merge-q4-1.gguf 模型时：

• MPS 原生运行：27 秒/迭代，总时间 133 秒
• CPU 回退运行：100 秒/迭代，总时间 423 秒

可见 MPS 原生支持带来了显著的性能提升，使模型在 Apple Silicon 设备上的实用性大大提高。

实施建议

1. 确保使用最新版本的 PyTorch nightly 构建
2. 对于性能敏感的应用，优先考虑使用 Q8 等更高精度的量化模型
3. 监控 PyTorch 官方更新，以获取更好的 MPS 支持
4. 对于复杂模型，合理设置批处理大小以避免内存溢出

随着 PyTorch 对 Apple Silicon 支持的不断完善，我们期待看到更多深度学习应用能够在 Mac 设备上高效运行，为开发者提供更多选择。