Textual Inversion 项目使用指南

1. 项目目录结构及介绍

textual_inversion/
├── configs/
│   └── latent-diffusion/
│       └── txt2img-1p4B-finetune.yaml
├── evaluation/
├── img/
├── ldm/
├── models/
├── scripts/
├── LICENSE
├── README.md
├── environment.yaml
├── main.py
├── merge_embeddings.py
├── setup.py

目录结构介绍

• configs/: 包含项目的配置文件，如 txt2img-1p4B-finetune.yaml，用于定义训练和生成的参数。
• evaluation/: 用于存放评估脚本和结果。
• img/: 存放示例图像和生成的图像。
• ldm/: 包含 Latent Diffusion Models 的相关代码。
• models/: 存放预训练模型和训练后的模型文件。
• scripts/: 包含用于生成图像的脚本，如 txt2img.py。
• LICENSE: 项目的开源许可证文件。
• README.md: 项目的介绍和使用说明。
• environment.yaml: 用于创建项目运行环境的 Conda 配置文件。
• main.py: 项目的主启动文件，用于执行文本反转训练。
• merge_embeddings.py: 用于合并嵌入向量的脚本。
• setup.py: 项目的安装脚本。

2. 项目的启动文件介绍

main.py

main.py 是 Textual Inversion 项目的主启动文件，主要用于执行文本反转训练。以下是该文件的主要功能：

• 加载配置文件: 根据 configs/latent-diffusion/txt2img-1p4B-finetune.yaml 中的配置参数进行训练。
• 加载预训练模型: 从指定路径加载预训练的 Latent Diffusion Models。
• 数据预处理: 对输入图像进行预处理，如调整大小、裁剪等。
• 训练嵌入向量: 使用用户提供的图像数据训练新的嵌入向量。
• 保存训练结果: 将训练后的嵌入向量保存到指定目录。

使用示例

python main.py --base configs/latent-diffusion/txt2img-1p4B-finetune.yaml -t --actual_resume /path/to/pretrained/model.ckpt -n <run_name> --gpus 0 --data_root /path/to/directory/with/images --init_word <initialization_word>

3. 项目的配置文件介绍

txt2img-1p4B-finetune.yaml

txt2img-1p4B-finetune.yaml 是 Textual Inversion 项目的主要配置文件，定义了训练和生成的参数。以下是该文件的主要配置项：

• base: 基础配置文件路径。
• actual_resume: 预训练模型的路径。
• run_name: 训练运行的名称。
• gpus: 使用的 GPU 编号。
• data_root: 训练数据的根目录。
• init_word: 初始化单词，用于嵌入向量的初始化。
• placeholder_string: 占位符字符串，用于表示新概念。
• max_training_steps: 最大训练步数。
• checkpointing_steps: 保存检查点的频率。

配置示例

base: configs/latent-diffusion/txt2img-1p4B-finetune.yaml
actual_resume: /path/to/pretrained/model.ckpt
run_name: my_run
gpus: 0
data_root: /path/to/directory/with/images
init_word: toy
placeholder_string: "*"
max_training_steps: 5000
checkpointing_steps: 500

通过以上配置，可以灵活地调整训练参数，以适应不同的训练需求。