OneTrainer项目中的SDXL模型训练优化实践

概述

在使用OneTrainer进行SDXL模型训练时，用户遇到了训练效果不佳的问题。经过一系列调试和参数优化，最终找到了影响训练效果的关键因素，包括优化器设置、EMA参数以及VRAM使用优化等方面。

训练问题分析

初始训练尝试中，用户发现模型输出质量较差，主要表现如下：

1. 训练结果严重欠拟合
2. 模型无法有效学习目标特征
3. VRAM使用量异常高（达22GB）

经过排查，发现问题主要出在以下几个方面：

关键优化点

1. 优化器参数设置

Adafactor优化器的"Scale parameter"和"Relative step"参数默认启用会导致学习率自动调整，而不会使用设定的固定学习率。正确的做法是：

• 方案一：禁用这两个参数（设为False）
• 方案二：保持启用但使用Adafactor学习率调度器

此外，beta1参数设置为None可以显著减少VRAM使用量（从22GB降至15GB左右），因为避免了创建模型的完整副本。

2. EMA参数优化

EMA（指数移动平均）在OneTrainer中提供了模型稳定性，但也可能影响训练速度：

• GPU上EMA：建议更新间隔设为1（最佳质量）
• CPU上EMA：可根据性能容忍度设置适当间隔

对于单一概念的训练，EMA可能会减缓学习进度，因为它会保留原始模型的部分特征。用户可以通过采样功能比较EMA和非EMA版本的训练效果。

3. VRAM使用优化

通过以下设置可以优化VRAM使用：

• 仅训练UNet和文本编码器1
• 将不可训练部分的权重设为float16或bfloat16
• SDXL VAE应保持为float32或bfloat16（float16会导致NaN）
• 确保beta1参数设为None

4. 其他训练技巧

• 对于1024x1024的正方形图像，可以禁用长宽比分桶
• 可以通过创建第二个概念并设置极低重复率（如0.01）来模拟正则化图像
• 输出数据类型设为float16在大多数情况下效果良好

最佳实践配置

基于调试经验，推荐的SDXL训练配置如下：

• 优化器：Adafactor
• 学习率：1e-5（文本编码器1使用3e-6）
• 学习率调度器：constant
• 权重数据类型：bfloat16（可训练部分为float32）
• EMA：GPU上启用，更新间隔1
• 分辨率：1024
• 批大小：1
• 梯度累积：1

总结

OneTrainer在SDXL模型训练中提供了丰富的配置选项，正确的参数设置对训练效果至关重要。通过优化优化器参数、合理使用EMA以及控制VRAM使用，可以显著提升训练效果。相比其他训练工具，OneTrainer的EMA支持是其独特优势，但在单一概念训练中需要谨慎使用。

对于希望从其他工具迁移到OneTrainer的用户，建议重点关注优化器参数差异和EMA设置，这些往往是影响训练效果的关键因素。通过系统性的参数调试和效果对比，可以获得理想的训练结果。