【亲测免费】 Stable Diffusion 开源项目教程

项目介绍

Stable Diffusion 是一个高分辨率图像合成项目，基于潜在扩散模型（Latent Diffusion Models）。该项目由 Stability AI 组织开发，旨在通过文本条件生成高质量的图像。Stable Diffusion 支持多种配置和模型，包括 Stable Diffusion v2，该版本使用了一个下采样因子为8的自编码器，以及一个865M参数的UNet和一个OpenCLIP ViT-H/14文本编码器。

项目快速启动

环境准备

在开始之前，请确保您的环境已安装以下依赖：

• Python 3.7 或更高版本
• PyTorch
• Intel Extension for PyTorch（如果使用CPU）

克隆项目

首先，克隆 Stable Diffusion 项目到本地：

git clone https://github.com/Stability-AI/stablediffusion.git
cd stablediffusion

安装依赖

安装所需的 Python 包：

pip install -r requirements.txt

运行示例

以下是一个简单的示例，使用 Stable Diffusion 生成一张图像：

python -m intel_extension_for_pytorch cpu launch --ninstance 1 --enable_jemalloc scripts/txt2img.py \
  --prompt "a corgi is playing guitar oil on canvas" \
  --ckpt <path/to/model_ckpt> \
  --config configs/stable-diffusion/intel/v2-inference-bf16.yaml \
  --precision full --device cpu --torchscript --ipex --bf16

请将 <path/to/model_ckpt> 替换为您的模型检查点路径。

应用案例和最佳实践

图像生成

Stable Diffusion 可以用于生成各种风格的图像，例如油画、水彩画等。通过调整文本提示和模型参数，可以生成具有不同艺术风格的图像。

图像编辑

Stable Diffusion 还支持图像编辑功能，可以通过深度条件扩散模型来保持图像的形状不变，同时进行风格转换。

最佳实践

• 文本提示优化：确保文本提示清晰且具体，以获得更好的生成效果。
• 参数调整：根据需求调整模型参数，如指导尺度（guidance scale）和采样步数（sampling steps）。

典型生态项目

Hugging Face

Stable Diffusion 的模型权重可在 Hugging Face 上获取，支持 CreativeML Open RAIL++-M 许可证。

CLIPDrop

CLIPDrop 提供了一个公共演示，允许用户通过 Stable Diffusion 进行图像重构和混合操作。

KARLO

KARLO 是一个基于 Stable Diffusion 的模型，支持图像生成和编辑，具有高度的模块化和可组合性。

通过这些生态项目，用户可以进一步扩展 Stable Diffusion 的功能，实现更多样化的应用。