🌲 Maple Diffusion：本地Swift实现的Stable Diffusion模型

Maple Diffusion是一个创新的开源项目，它允许你在macOS和iOS设备上本地运行Stable Diffusion模型，全部采用Swift编程语言，并依赖于苹果的MPSGraph框架，无需Python环境。这个项目旨在提供一个高效的解决方案，在移动设备上进行高质量的图像生成。

在最新的iPhone（如iPhone 13 Pro）上，Maple Diffusion可以大约在1到2分钟内生成一个合理清晰的图像，每步处理时间约为2.3秒。为了在不超出iOS 4GB内存限制的情况下保持性能，该项目内部使用了FP16（NHWC）张量、MPSGraph的操作符融合以及策略性的模型存储交换。

在macOS平台，由于更大的内存容量（约6GB），Maple Diffusion可以达到每步处理少于1秒的速度。

相关项目

• Core ML Stable Diffusion: 苹果官方推荐的Swift中使用CoreML来运行Stable Diffusion的方法。
• Native Diffusion: 基于Maple Diffusion并带有多个改进的Swift包，包括支持图像到图像的转换。
• Waifu Art AI: 一款基于Maple Diffusion代码的iOS/macOS应用程序，专注于创建动漫风格的艺术作品。
• Draw Things: 利用类似的MPSGraph方法实现的Stable Diffusion iOS应用。

设备要求

Maple Diffusion兼容所有的Apple Silicon Mac（如M1、M2等）。由于特定的PR，Intel Macs现在也能够运行。对于iOS设备，至少需要6GB RAM才能保证正常运行，这意味着近期的iPad和iPhone应该可以在启用“增加内存限制”功能后工作（以解锁4GB的应用可使用RAM）。据报道，iPhone 14系列在iOS 16.1稳定版之前存在一些问题，但现在已被解决。

使用方法

要构建并运行Maple Diffusion，请按照以下步骤操作：

1. 下载一个Stable Diffusion的PyTorch模型检查点，例如sd-v1-4.ckpt。
2. 克隆此仓库。
3. 安装Python和PyTorch（如果尚未安装）。
4. 转换PyTorch模型检查点为fp16二进制blob。
5. 在Xcode中打开maple-diffusion项目，选择目标设备。
6. （可能仅限iPhone）手动向maple-diffusion目标添加“增加内存限制”特性。
7. 构建并运行项目。

项目特点

• 原生Swift实现：完全使用Swift编写，无需依赖Python环境。
• 高效利用硬件：通过MPSGraph和FP16张量优化，能够在移动设备上实现高性能。
• 可移植性：兼容macOS和iOS设备，支持多种Apple设备。
• 易于部署：提供了详细的使用说明，便于开发者和用户快速上手。

Maple Diffusion是一个极富创新的项目，将高级人工智能技术带入了移动设备的领域。无论你是开发者还是AI艺术爱好者，都可以借助这个项目在本地生成惊人的图像，体验人工智能的力量。立即尝试Maple Diffusion，探索无限可能吧！