Kohya_ss项目中Textual Inversion训练问题的分析与解决方案

问题背景

在Kohya_ss项目中，用户报告了使用Textual Inversion(TI)进行模型训练时遇到的几个关键问题。这些问题主要出现在SDXL和SD1.5两种模型上，表现为训练过程无法正常启动或执行。

具体问题表现

SDXL模型训练错误

当尝试使用SDXL模型进行Textual Inversion训练时，系统会抛出以下错误：

AttributeError: 'Namespace' object has no attribute 'disable_mmap_load_safetensors'

这个错误表明在参数解析过程中缺少了disable_mmap_load_safetensors属性，导致训练脚本无法继续执行。

SD1.5模型训练错误

对于SD1.5模型，训练虽然能够启动，但会出现数据加载问题：

No data found. Please verify arguments / 画像がありません。引数指定を確認してください

这表明系统无法正确识别和加载训练数据集。

问题原因分析

1. SDXL训练脚本参数缺失：最新版本的训练脚本中引入了disable_mmap_load_safetensors参数，但未在参数解析器中正确初始化，导致运行时错误。

2. 数据集结构问题：对于SD1.5模型的训练失败，主要是由于数据集文件夹结构不符合要求。Textual Inversion训练需要特定的文件夹命名格式，类似于DreamBooth的要求。

3. 开发分支与主分支差异：这些问题在开发分支(dev)中更为明显，主分支(master)相对稳定。

解决方案

针对SDXL训练问题的修复

有以下几种解决方法：

1. 修改sdxl_train_textual_inversion.py文件： 在文件末尾的if __name__ == "__main__":代码块中，添加以下行：

   args.disable_mmap_load_safetensors = True
   

2. 注释掉相关代码： 在sdxl_train_util.py文件中，注释掉第50行关于disable_mmap_load_safetensors的引用。

3. 使用稳定版本： 切换到主分支(master)或v24.1.4版本，这些版本中该问题已被修复。

针对SD1.5数据加载问题的修复

1. 确保正确的文件夹结构： 数据集文件夹应采用repeats_word class的命名格式，其中：

   • repeats是重复次数的数字
   • word是要训练的触发词
   • class是类别名称

   例如：5_b4r0que architecture

2. 验证数据路径： 检查训练配置中的图像文件夹路径是否正确，避免路径中包含特殊字符或空格。

训练建议与最佳实践

1. 数据集准备：

   • 确保每张图片都有相应的文本描述文件
   • 描述文件中应包含触发词和详细的图像描述
   • 示例描述格式：

     b4r0que, a photo of architectural interior, grand hallway, classical architecture...
     

2. 参数调整：

   • 学习率：从默认值开始，必要时逐步调整
   • 训练步数：根据数据集大小适当设置
   • 批次大小：根据GPU内存合理配置

3. 版本选择：

   • 对于生产环境，建议使用主分支(master)的稳定版本
   • 开发分支(dev)可能包含实验性功能，但稳定性较差

总结

Textual Inversion是一种强大的模型微调技术，但在Kohya_ss项目中的实现存在一些需要注意的问题。通过理解错误原因并应用上述解决方案，用户可以成功进行训练。建议用户在遇到问题时：

1. 首先验证数据集结构和路径
2. 根据使用的模型版本选择合适的修复方案
3. 关注项目更新，及时获取最新修复

通过系统性地解决这些问题，用户可以充分利用Kohya_ss项目进行高效的Textual Inversion训练，实现个性化的模型定制需求。