RIVAL项目使用教程

1. 项目介绍

RIVAL（Real-World Image Variation by Aligning Diffusion Inversion Chain）是一个基于神经网络的图像风格转换和生成项目。该项目是NeurIPS 2023的一个 Spotlight 论文官方实现，主要用于生成与原图有相同语义内容但风格不同的图像，以及实现一些其他图像编辑功能，如基于文本的图像生成、图像编辑、图像修复等。

2. 项目快速启动

环境配置

首先，需要创建一个虚拟环境并安装所需的依赖：

conda create -n rival python=3.9.16
conda activate rival
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt
conda install xformers -c xformers

运行示例

以下是一个生成图像变体的基本示例：

bash scripts/rival_variation_test.sh

其他应用的启动方式类似，可以通过修改脚本中的参数来调整应用的行为。

3. 应用案例和最佳实践

图像编辑

用户可以通过修改scripts/rival_editing_test.sh脚本中的editing_early_steps参数来控制编辑的强度。

个性化概念编辑

RIVAL允许用户自定义对象概念和风格概念，这通常难以描述。可以通过运行以下脚本来尝试：

bash scripts/rival_dreambooth_test.sh

基于示例的图像修复

图像修复的应用范围有限，仅限于特定示例。可以通过以下脚本来尝试：

bash scripts/rival_inpainting_test.sh

文本驱动的图像生成

使用以下脚本来生成基于文本的图像：

bash scripts/rival_t2i_test.sh

生成带有ControlNet的图像

在assets/images/configs_controlnet.json中配置ControlNet的参数，然后运行以下脚本来生成图像：

bash scripts/rival_controlnet_test.sh

4. 典型生态项目

目前，RIVAL的生态项目还比较有限，主要集中在图像风格转换和生成领域。随着项目的进一步发展，预计会有更多基于RIVAL的项目出现，涵盖更广泛的应用场景。