Stable Diffusion gRPC Server 使用教程

1. 项目介绍

stable-diffusion-grpcserver 是一个基于 Stability AI Stable Diffusion API 的服务器实现。该项目允许用户通过 gRPC 协议与 Stable Diffusion 模型进行交互，支持多种图像生成功能，包括文本到图像（txt2img）、图像到图像（img2img）、图像修复（inpainting）和图像扩展（outpainting）等。此外，该项目还提供了一些增强功能，如自定义 CLIP 指导、负提示和模型调度器等。

2. 项目快速启动

2.1 安装依赖

首先，确保你已经安装了 Docker 和 Nvidia GPU（至少 4GB VRAM）。

2.2 启动 Docker 容器

使用以下命令启动 Docker 容器：

docker run --gpus all -it -p 50051:50051 \
  -e HF_API_TOKEN=[your huggingface token] \
  -e SD_LISTEN_TO_ALL=1 \
  -v $HOME/cache/huggingface:/huggingface \
  -v `pwd`/weights:/weights \
  hafriedlander/stable-diffusion-grpcserver:xformers-latest

2.3 本地启动

如果你不想使用 Docker，也可以在本地启动服务。首先安装 Miniconda，然后在 Conda 环境中执行以下命令：

git clone https://github.com/hafriedlander/stable-diffusion-grpcserver.git
cd stable-diffusion-grpcserver
conda env create -f environment.yaml
conda activate sd-grpc-server

# 设置 Hugging Face API Token
set HF_API_TOKEN=[your huggingface token]

# 启动服务器
python ./server.py

3. 应用案例和最佳实践

3.1 文本到图像生成

使用 txt2img 功能生成图像：

from client import StableDiffusionClient

client = StableDiffusionClient(host='localhost', port=50051)
prompt = "A futuristic cityscape at sunset"
image = client.txt2img(prompt)
image.save("output.png")

3.2 图像修复

使用 inpainting 功能修复图像：

from client import StableDiffusionClient

client = StableDiffusionClient(host='localhost', port=50051)
image_path = "input.png"
mask_path = "mask.png"
prompt = "A beautiful garden"
image = client.inpaint(image_path, mask_path, prompt)
image.save("output_inpainted.png")

3.3 负提示

使用负提示生成图像：

from client import StableDiffusionClient

client = StableDiffusionClient(host='localhost', port=50051)
prompt = "A futuristic cityscape at sunset"
negative_prompt = "blurry, low quality"
image = client.txt2img(prompt, negative_prompt=negative_prompt)
image.save("output_negative.png")

4. 典型生态项目

4.1 Seamless Outpainting

Seamless Outpainting 是一个用于无缝扩展图像的项目，可以与 stable-diffusion-grpcserver 结合使用，提供更好的图像扩展效果。

4.2 CLIP Interrogator

CLIP Interrogator 是一个用于计算图像和文本之间相似度的工具，可以与 stable-diffusion-grpcserver 结合使用，提供更准确的提示生成。

4.3 MagicPrompt

MagicPrompt 是一个用于生成创意提示的工具，可以与 stable-diffusion-grpcserver 结合使用，提供更多样化的图像生成效果。

通过这些生态项目的结合，stable-diffusion-grpcserver 可以实现更复杂和多样化的图像生成任务。