【亲测免费】 循环扩散模型（CycleDiffusion）：基于PyTorch的零样本图像转换实现

---

项目介绍

循环扩散模型(CycleDiffusion) 是陈亨利·吴（Henry Wu）与费尔南多·德拉托雷（Fernando De la Torre）在卡内基梅隆大学共同研究的成果，该工作探讨了如何形式化并推断出扩散模型中“随机种子”的概念，进而提出了一个简单而有效的方法——CycleDiffusion。这篇论文被修改版接受至ICCV 2023，并提出了一种利用扩散模型的潜在空间进行零样本图像编辑和引导的新方法。它允许通过文本到图像的扩散模型实现零样本图像到图像的翻译，无需特定训练，仅依赖于已训练好的扩散模型。

该项目基于PyTorch实现，展示了如何利用稳定扩散(Stable Diffusion)等模型进行图像转换，强调了在两个图像分布间最小差异生成图像的能力。

---

项目快速启动

要快速启动CycleDiffusion项目，你需要先确保拥有适当的环境设置。以下步骤指导你完成整个过程：

环境配置

1. 创建并激活Conda环境:

   conda env create -f environment.yml
   conda activate generative_prompt
   

2. 安装必要的库:

   pip install git+https://github.com/openai/CLIP.git
   

   根据你的CUDA版本安装torch和torchvision，并安装taming-transformers。

   pip install torch torchvision  # 选择对应版本
   git clone https://github.com/CompVis/taming-transformers.git
   cd taming-transformers; pip install -e .
   cd ..
   

3. 配置wandb日志服务（需注册）: 修改main.py中的setup_wandb函数以适应你的wandb凭证。

下载预训练模型与数据

• 预训练扩散模型 和 评估数据 的下载与准备步骤较为详细，涉及多个步骤，包括从Hugging Face获取模型、下载AFHQ验证集等，具体细节见原项目GitHub页面的指示。

运行示例

以Stable Diffusion为例执行零样本图像到图像的翻译：

export CUDA_VISIBLE_DEVICES=0
export RUN_NAME=translate_text2img_example
export SEED=42
nohup python -m torch.distributed.launch --nproc_per_node 1 --master_port 1234 main.py \
    --seed $SEED --cfg experiments/$RUN_NAME_cfg --run_name $RUN_NAME_$SEED \
    --<其他参数...> > $RUN_NAME_$SEED.log 2>&1 &

注意替换其中的具体参数以符合实际需求及环境配置。

---

应用案例和最佳实践

CycleDiffusion的主要应用场景在于无需额外训练即可将文本描述应用于现有图像上，实现风格迁移、图像增强或图像内容的微调。最佳实践建议包括充分利用现有的扩散模型预训练权重，以及细致调整输入文本以获得更精确的转换结果。开发者应关注文本与目标图像主题的相关性，从而提高转换质量。

---

典型生态项目

CycleDiffusion与Hugging Face的集成展现了其在零样本图像编辑和引导方面的能力，特别是通过Diffusers库可以直接作为管道使用。这意味着，CycleDiffusion成为更广泛机器学习社区的一部分，支持AI艺术家和开发者进行创新的图像处理实验，加速跨领域应用的开发。

---

请注意，以上快速启动和配置步骤是简化的指导，完整细节请参考项目GitHub上的最新说明。