PowerPaint 开源项目使用教程

1. 项目介绍

PowerPaint 是一个高质量、多功能的图像修补模型，支持文本引导的物体插入、物体移除、图像扩展以及形状可控的物体生成。该项目由 Tsinghua University 和 Shanghai AI Laboratory 联合开发，旨在通过学习任务提示来实现高质量的多功能图像修补。PowerPaint 在多个图像修补任务中表现出色，包括文本引导的物体插入、上下文感知的图像修补、形状引导的物体插入和图像扩展。

2. 项目快速启动

2.1 克隆仓库

首先，克隆 PowerPaint 的 GitHub 仓库到本地：

git clone https://github.com/open-mmlab/PowerPaint.git

2.2 创建虚拟环境

使用 Conda 创建并激活一个名为 ppt 的虚拟环境：

conda create --name ppt python=3.9
conda activate ppt

2.3 安装依赖

安装项目所需的依赖包：

pip install -r requirements/requirements.txt

或者，你可以通过以下命令从头开始构建 Conda 环境：

conda env create -f requirements/ppt.yaml
conda activate ppt

2.4 启动 Gradio 界面

运行以下命令启动 Gradio 界面：

python app.py --share

3. 应用案例和最佳实践

3.1 文本引导的物体插入

在 Gradio 界面中，上传图像并绘制掩码，选择“文本引导的物体插入”选项卡，输入文本提示。模型将根据提示生成输出图像。

3.2 物体移除

选择“物体移除”选项卡，无需输入任何提示。PowerPaint 将根据背景上下文填充掩码区域。你可以在文本框中输入提示以进一步抑制物体生成，推荐使用较高的 Guidance Scale 值（如 10 或更高）。

3.3 图像扩展

选择“图像扩展”选项卡，无需输入任何文本提示。通过调整水平和垂直扩展比例滑块，PowerPaint 将扩展图像。

3.4 形状引导的物体插入

选择“形状引导的物体插入”选项卡，输入文本提示。通过调整“拟合度”滑块，控制生成物体与掩码形状的拟合程度。

4. 典型生态项目

4.1 ControlNet

PowerPaint 兼容 ControlNet，用户可以通过控制图像生成物体。例如，使用 Canny、Depth、HED 或 Human Pose 等控制图像生成特定形状的物体。

4.2 BrushNet

PowerPaint 借鉴了 BrushNet 的思想，保留了用于任务提示输入的交叉注意力层，进一步提升了模型的多功能性和性能。

通过以上步骤，你可以快速上手并使用 PowerPaint 进行各种图像修补任务。