FlowEdit 使用与启动教程

1. 项目介绍

FlowEdit 是基于论文 "FlowEdit: Inversion-Free Text-Based Editing Using Pre-Trained Flow Models" 的官方 PyTorch 实现。该项目提供了一种基于文本编辑的图像处理方法，使用预训练的流模型进行无反转文本编辑。FlowEdit 通过文本指导对图像进行编辑，而无需复杂的图像处理技术，适用于多种图像编辑任务。

2. 项目快速启动

在开始之前，请确保安装了以下依赖项：

pip install torch diffusers transformers accelerate sentencepiece protobuf

如果遇到兼容性问题，尝试安装特定版本的 diffusers：

pip install diffusers==0.30.1

确保你的系统安装了 CUDA 版本 12.4 和 diffusers 0.30.0。

运行示例

运行以下命令，使用 Stable Diffusion 3 模型进行编辑：

python run_script.py --exp_yaml SD3_exp.yaml

或者，使用 Flux 模型进行编辑：

python run_script.py --exp_yaml FLUX_exp.yaml

自定义使用

1. 将图像上传到 example_images 文件夹。
2. 创建一个 edits.yaml 文件，指定以下内容：
   • 输入图像路径
   • 源提示
   • 目标提示
   • 目标代码（总结源提示和目标提示之间的变化，并显示在输出文件名中）

参考 edits.yaml 文件中的示例。 3. 创建一个包含运行 FlowEdit 所需的超参数的实验文件，例如 n_max、n_min 等，并包含指向 edits.yaml 文件的路径。

参考 FLUX_exp.yaml 和 SD3_exp.yaml 文件中的示例。 4. 运行以下命令：

python run_script.py --exp_yaml <你的实验 yaml 路径>

3. 应用案例和最佳实践

• 图像修复：使用 FlowEdit 对损坏或老化的图像进行修复。
• 风格转换：将一种图像风格转换成另一种风格，如将现代照片转换为古典绘画风格。
• 图像生成：根据文本描述生成相应的图像内容。

4. 典型生态项目

• ComfyUI：用于不同模型的可视化界面。
• LTX Video：视频处理框架，支持基于文本的视频编辑。
• HunyuanLoom：用于图像和视频编辑的高级库。

以上教程可帮助用户快速上手 FlowEdit，并根据具体需求进行图像编辑。