开源项目教程：Compositional Visual Generation with Composable Diffusion Models

1. 项目介绍

本项目是基于PyTorch的开源项目，旨在通过结合条件扩散模型（如Stable Diffusion、Point-E等）使用并集和补集（负提示）操作来实现组合视觉生成。项目提供了一种新的方法，可以在生成图像时，根据文本描述组合不同的元素和属性。代码库包括训练和推理代码，并基于GLIDE和Improved-Diffusion构建。

2. 项目快速启动

环境搭建

首先，创建一个conda环境并激活：

conda create -n compose_diff python=3.8
conda activate compose_diff

接着，安装必要的包：

pip install -e .
pip install diffusers==0.10.2
pip install open3d==0.16.0

推理示例

以下是一个使用Stable-Diffusion模型的推理示例，它将自然语言描述组合起来生成图像：

# 使用并集（AND）操作
python scripts/image_sample_compose_stable_diffusion.py --prompts "mystical trees | A magical pond | dark" --weights "7.5 | 7.5 | 7.5" --scale 7.5 --steps 50 --seed 2

# 使用补集（NOT）操作
python scripts/image_sample_compose_stable_diffusion.py --prompts "mystical trees | A magical pond | dark" --weights "7.5 | 7.5 | -7.5" --scale 7.5 --steps 50 --seed 2

3. 应用案例和最佳实践

图像生成

使用Stable-Diffusion模型生成的图像可以通过组合不同的正提示和负提示来控制生成的内容。以下是一些示例：

• 生成一个包含湖泊和树木的石头城堡，但不是黑白的：

  python scripts/image_sample_compose_stable_diffusion.py --prompts "A stone castle surrounded by lakes and trees, fantasy, wallpaper, concept art, extremely detailed" --weights "7.5" --scale 7.5 --steps 50 --seed 2
  

3D网格生成

使用Point-E模型，可以生成3D网格。以下是一个组合自然语言描述生成3D网格的示例：

python scripts/txt2pointclouds_compose_pointe.py --prompts "a cake" "a house" --weights 3 3

4. 典型生态项目

本项目的代码库可以与其他开源项目结合，形成更加丰富的生成模型生态。例如，可以结合以下项目：

• Stable-Diffusion: 一个稳定的扩散模型，用于高分辨率的图像合成。
• Point-E: 一个用于3D网格生成的模型。
• GLIDE: 一个基于文本的图像生成模型。

通过这种方式，开发者和研究人员可以探索更多组合生成模型的可能性，推动视觉生成领域的发展。