ControlNet++ 开源项目使用教程

1. 项目介绍

ControlNet++ 是一个基于 PyTorch 的开源项目，旨在通过改进条件控制来提高文本到图像扩散模型的可控性。该项目是 ECCV 2024 论文 "ControlNet++: Improving Conditional Controls with Efficient Consistency Feedback" 的官方实现。ControlNet++ 通过显式优化生成图像与条件控制之间的像素级循环一致性，显著提升了在各种条件控制下的可控性。

2. 项目快速启动

环境准备

首先，克隆项目到本地：

git clone https://github.com/liming-ai/ControlNet_Plus_Plus.git

进入项目目录并安装依赖：

cd ControlNet_Plus_Plus
pip3 install -r requirements.txt
pip3 install -U openmim
mim install mmengine
mim install "mmcv==2.1.0"
pip3 install "mmsegmentation>=1.0.0"
pip3 install mmdet
pip3 install clean-fid
pip3 install torchmetrics

数据准备

所有组织好的数据已经放在 Huggingface 上，训练或评估时会自动下载。你可以通过以下链接预览数据样本和磁盘空间占用情况：

• Task Training Data
• Evaluation Data

训练

默认情况下，训练基于 8 个 A100-80G GPU。如果你的计算资源不足，可以减少批量大小并增加梯度累积。

# 训练 ADE20K 数据集
bash train/reward_ade20k.sh

# 训练 COCOStuff 数据集
bash train/reward_cocostuff.sh

# 训练其他任务
bash train/reward_canny.sh
bash train/reward_depth.sh
bash train/reward_hed.sh
bash train/reward_linedrawing.sh

评估

确保文件夹目录与测试脚本一致，然后可以评估每个模型：

bash eval/eval_ade20k.sh
bash eval/eval_cocostuff.sh
bash eval/eval_canny.sh
bash eval/eval_depth.sh
bash eval/eval_hed.sh
bash eval/eval_linedrawing.sh

3. 应用案例和最佳实践

案例1：图像分割

ControlNet++ 在图像分割任务中表现出色，特别是在 ADE20K 和 COCOStuff 数据集上。通过优化像素级循环一致性，生成的图像与输入条件控制更加一致。

案例2：边缘检测

在边缘检测任务中，ControlNet++ 通过高效的奖励策略，显著提高了生成图像与输入边缘条件的一致性。

最佳实践

• 数据预处理：确保数据集的格式和质量，以获得最佳训练效果。
• 超参数调整：根据具体任务和计算资源调整批量大小和梯度累积步数。
• 模型评估：使用多种评估指标（如 mIoU、SSIM、RMSE）来全面评估模型性能。

4. 典型生态项目

OpenMMLab

OpenMMLab 是一个开源的计算机视觉研究平台，提供了丰富的工具和库，支持多种视觉任务。ControlNet++ 与 OpenMMLab 的 mmsegmentation 和 mmdet 库集成，提供了强大的图像分割和目标检测功能。

Huggingface

Huggingface 提供了丰富的预训练模型和数据集，ControlNet++ 利用 Huggingface 的数据集进行训练和评估，简化了数据准备过程。

ImageReward

ImageReward 是一个用于图像生成任务的奖励模型，ControlNet++ 通过集成 ImageReward，优化了生成图像与条件控制之间的一致性。

通过这些生态项目的支持，ControlNet++ 在图像生成和处理任务中表现出色，为用户提供了强大的工具和资源。