DenseDiffusion 项目使用教程

1. 项目介绍

DenseDiffusion 是一个训练无需额外数据的方法，旨在将预训练的文本到图像模型适应于处理密集的文本描述，同时提供对场景布局的控制。该项目由 NAVER AI Lab 和 Carnegie Mellon University 共同开发，并在 ICCV 2023 上发表。

主要特点：

• 训练无需额外数据：无需额外的数据集或微调，即可提升图像生成性能。
• 密集文本处理：能够处理每个文本提示提供详细描述的特定图像区域的密集文本。
• 布局控制：通过注意力调制方法，指导对象根据布局指导出现在特定区域。

2. 项目快速启动

2.1 环境准备

确保你已经安装了以下依赖：

• Python 3.7+
• PyTorch 1.8+
• Hugging Face Transformers

2.2 安装

git clone https://github.com/naver-ai/DenseDiffusion.git
cd DenseDiffusion
pip install -r requirements.txt

2.3 启动 Web 界面

# 设置你的 Hugging Face Hub 访问令牌
export HF_TOKEN="your_huggingface_token"

# 运行 Gradio 应用
python gradio_app.py

3. 应用案例和最佳实践

3.1 创建图像布局

1. 标签每个段落：为每个图像区域提供详细的文本描述。
2. 调整完整文本：默认情况下，完整文本会自动从每个段落的文本中拼接。你可以进一步优化完整文本以提高结果质量。
3. 生成图像：检查生成的图像，并根据需要调整超参数。

3.2 超参数调整

• wc：交叉注意力层的注意力调制度。
• ws：自注意力层的注意力调制度。

4. 典型生态项目

4.1 ComfyUI_densediffusion

ComfyUI_densediffusion 是一个为 ComfyUI 定制的节点，实现了类似于 DenseDiffusion 的方法，用于区域提示。该项目由 huchenlei 开发，地址为：https://github.com/huchenlei/ComfyUI_densediffusion

4.2 Omost 项目

Omost 项目中使用了区域提示方法，可以参考其实现：https://github.com/lllyasviel/Omost#regional-prompter