Kohya_SS项目中基于掩码损失的LoRA训练配置指南

在Kohya_SS项目中实现基于掩码损失(Masked Loss)的LoRA训练时，正确的配置文件设置至关重要。本文将详细介绍如何配置.toml文件来实现这一功能。

掩码训练的基本原理

掩码训练是一种特殊的训练技术，它允许模型只关注图像中的特定区域进行学习。这种技术在需要精确控制模型学习区域时特别有用，比如在保留原图某些特征的同时进行局部修改。

文件结构要求

要实现掩码训练，需要建立以下目录结构：

训练数据目录/
├── img/                # 存放原始训练图像
│   └── 1_实例标签 类别标签.jpg
├── mask-img/           # 存放对应的掩码图像
│   └── 1_实例标签 类别标签.jpg
├── log/                # 训练日志
├── model/              # 输出模型
└── config.toml         # 训练配置文件

配置文件关键参数

在Kohya_SS项目中，可以参考test/config/dreambooth-AdamW8bit-masked_loss-toml.json这个示例配置文件。虽然示例是.json格式，但其参数结构可以转换为.toml格式使用。

关键参数包括：

• masked_loss: 设置为true启用掩码损失
• mask_directory: 指定掩码图像路径
• mask_target: 定义哪些提示词区域需要应用掩码

实际应用建议

1. 掩码图像应为黑白图像，白色区域表示需要训练的部分，黑色区域表示忽略部分
2. 确保原始图像和掩码图像的文件名严格对应
3. 对于LoRA训练，可以适当降低学习率以避免过拟合
4. 训练过程中可以通过日志监控掩码区域的学习效果

通过正确配置这些参数，用户可以在Kohya_SS中实现精确控制的局部训练效果，这对于特定场景下的模型微调特别有价值。