Reduce, Reuse, Recycle: 使用能量基扩散模型与MCMC的组合生成

1. 项目介绍

本项目提供了一个框架，用于在多个不同领域中概率性地组合和重用扩散模型。自引入以来，扩散模型迅速成为许多领域中生成建模的主导方法。它们可以解释为学习时间变化的对数概率密度函数序列的梯度。这种解释激发了基于分类器和无分类器指导的方法，这些方法用于事后控制扩散模型。在本项目中，我们利用扩散模型的得分解释，探索了条件、修改和重用扩散模型的新方法，用于涉及组合生成和指导的任务。我们研究了为什么某些类型的组合使用当前技术会失败，并提出了一系列解决方案。我们得出结论，采样器（而非模型）是导致这种失败的原因，并提出了新的采样器，这些采样器受到MCMC的启发，能够成功地进行组合生成。此外，我们还提出了一种基于能量的扩散模型参数化方法，它使得可以使用新的组合运算符和更复杂的Metropolis修正采样器。

2. 项目快速启动

首先，您需要创建一个conda环境并安装所需的依赖项：

conda create --name compose_ebm --file requirements.txt
conda activate compose_ebm

接着，您可以下载训练数据集并开始训练能量参数化分类器自由扩散模型：

bash energy_train_ddp_64.sh

请注意，您可以在以下代码行中更改用于训练的能量分数，当前我们使用的是基于去噪自动编码器的能量函数。

在推理采样阶段，您可以使用anneal_samplers.py中的各种采样器（HMC、UHMC、ULA、MALA）进行反向扩散采样。

python inf_sample.py --sampler MALA --ckpt_path "ebm-49x1874.pt"

3. 应用案例和最佳实践

• 2D分布结果复现：使用notebooks/simple_distributions.ipynb笔记本中的代码，您可以复现论文中的二维分布结果。
• 图像挂毯生成：使用notebooks/image_tapestry.ipynb笔记本中的代码，您可以了解如何使用MCMC采样在现有的文本到图像模型上构建图像挂毯。

4. 典型生态项目

本项目基于以下开源项目构建：

• GLIDE-Finetune：用于微调的GLIDE模型实现。
• Composable Diffusion：可组合扩散模型的基础框架。

通过结合这些项目，我们能够实现更加灵活和强大的生成模型，适用于多种复杂的应用场景。