Paint-by-Example 项目使用教程

1. 项目目录结构及介绍

Paint-by-Example/
├── configs/
│   ├── v1.yaml
│   └── ...
├── examples/
│   ├── image/
│   ├── mask/
│   └── reference/
├── ldm/
│   ├── models/
│   ├── modules/
│   └── ...
├── scripts/
│   ├── inference.py
│   ├── read_bbox.py
│   └── ...
├── test_bench/
│   ├── test_set_GT/
│   └── ...
├── LICENSE
├── README.md
├── environment.yaml
├── inference_test_bench.sh
├── main.py
├── setup.py
├── test.sh
└── train.sh

目录结构介绍

• configs/: 包含项目的配置文件，如 v1.yaml。
• examples/: 包含示例图像、掩码和参考图像。
• ldm/: 包含扩散模型的核心代码，如模型定义、模块等。
• scripts/: 包含用于推理、数据准备等的脚本。
• test_bench/: 包含测试基准数据集。
• LICENSE: 项目的许可证文件。
• README.md: 项目的介绍文档。
• environment.yaml: 项目的依赖环境配置文件。
• inference_test_bench.sh: 用于推理测试的脚本。
• main.py: 项目的主启动文件。
• setup.py: 项目的安装脚本。
• test.sh: 用于测试的脚本。
• train.sh: 用于训练的脚本。

2. 项目启动文件介绍

main.py

main.py 是项目的启动文件，用于训练新的模型。可以通过以下命令启动训练：

python -u main.py \
  --logdir models/Paint-by-Example \
  --pretrained_model pretrained_models/sd-v1-4-modified-9channel.ckpt \
  --base configs/v1.yaml \
  --scale_lr False

inference.py

inference.py 是用于推理的脚本，可以通过以下命令进行推理：

python scripts/inference.py \
  --plms \
  --outdir results \
  --config configs/v1.yaml \
  --ckpt checkpoints/model.ckpt \
  --image_path examples/image/example_1.png \
  --mask_path examples/mask/example_1.png \
  --reference_path examples/reference/example_1.jpg \
  --seed 321 \
  --scale 5

3. 项目的配置文件介绍

environment.yaml

environment.yaml 是项目的依赖环境配置文件，可以通过以下命令创建并激活环境：

conda env create -f environment.yaml
conda activate Paint-by-Example

configs/v1.yaml

configs/v1.yaml 是项目的配置文件，包含了训练和推理的参数设置。例如：

# 示例配置文件内容
model:
  name: "Paint-by-Example"
  version: "v1"
  batch_size: 16
  learning_rate: 0.0001
  epochs: 40

通过这些配置文件，可以灵活地调整项目的训练和推理参数。