Kohya_SS项目中AdamW8bit优化器的参数配置指南

概述

在Kohya_SS项目中，使用8位AdamW优化器(AdamW8bit)进行LoRA训练时，正确配置优化器参数对于模型训练效果至关重要。本文将详细介绍如何正确设置AdamW8bit优化器的各项参数，包括权重衰减(weight_decay)、epsilon值(eps)以及betas参数。

AdamW8bit优化器核心参数

AdamW8bit优化器是标准AdamW优化器的8位量化版本，能够在保持模型性能的同时显著减少显存占用。其核心参数包括：

1. 权重衰减(weight_decay): 控制L2正则化强度，默认值0.01
2. epsilon(eps): 数值稳定性常数，默认1e-8
3. betas: 动量参数，控制一阶矩和二阶矩估计的指数衰减率，默认(0.9, 0.999)

参数配置的正确格式

在Kohya_SS的GUI界面中配置这些参数时，需要特别注意参数之间的分隔方式：

• 各参数间使用空格分隔，而非逗号
• betas参数的元组内部不能有空格，应写作(0.9,0.999)而非(0.9, 0.999)

正确的完整参数配置示例：

weight_decay=0.01 eps=1e-08 betas=(0.9,0.999)

常见配置错误与解决方案

1. 参数间使用逗号分隔：会导致解析错误

   • 错误示例：weight_decay=0.01,eps=1e-08,betas=(0.9,0.999)
   • 正确示例：weight_decay=0.01 eps=1e-08 betas=(0.9,0.999)

2. betas元组内包含空格：虽然语法上允许，但在Kohya_SS中可能导致解析失败

   • 错误示例：betas=(0.9, 0.999)
   • 正确示例：betas=(0.9,0.999)

参数调优建议

1. weight_decay：对于小数据集或过拟合情况，可适当增大(如0.1)；对于大数据集或欠拟合情况，可减小(如0.001)
2. eps：通常保持默认1e-8即可，除非遇到数值稳定性问题
3. betas：第一个值控制动量，第二个值控制自适应学习率。增大第一个值(如0.95)可使优化更平滑，减小第二个值(如0.98)可使自适应学习率变化更快

总结

在Kohya_SS项目中使用AdamW8bit优化器时，正确的参数格式和合理的参数值对训练效果有着重要影响。遵循上述配置规则和建议，可以避免常见的参数设置错误，并根据具体任务需求调整优化器行为，从而获得更好的模型训练效果。