Open-Instruct项目中的SFT训练损失下降问题分析

问题背景

在使用Open-Instruct项目进行监督微调(SFT)训练时，特别是在MATH数据集上，开发者们观察到一个共同现象：训练损失(loss)下降非常缓慢，甚至在某些情况下几乎看不到明显下降。这种现象在多个不同规模的模型(如Llama-3-8B和OLMo-13B)上都出现了。

训练配置分析

典型的SFT训练配置包括以下关键参数：

• 学习率：5e-6
• 批量大小：每个设备2个样本，梯度累积步数16
• 训练周期：2个epoch
• 序列长度：4096
• 优化器：使用DeepSpeed Stage3卸载
• 损失计算方式：sum reduction

观察到的现象

从训练曲线中可以观察到：

1. 损失值在训练初期下降非常缓慢
2. 每个epoch之间的损失下降比epoch内部的下降更明显
3. 即使损失下降不明显，模型在某些评估指标上(如MMLU)仍有微小提升

技术分析

这种现象在SFT训练中是正常的，主要原因包括：

1. 预训练模型已经具备较强能力：像Llama-3和OLMo这样的大模型在预训练阶段已经学习了大量知识，SFT阶段主要是调整模型的行为风格和特定任务的响应方式，而非学习全新知识。

2. 小学习率的影响：5e-6的学习率非常保守，这是为了避免破坏模型已有的知识表示，但同时也会导致参数更新缓慢。

3. 损失计算方式：使用sum reduction而非mean reduction意味着损失值会随着序列长度变化，可能掩盖了实际的改进。

4. 评估指标选择：MMLU等通用评估指标对SFT的改进不敏感，更适合观察预训练效果。SFT的效果更适合用特定任务的评估来衡量。

建议与最佳实践

1. 增加训练周期：考虑将epoch数增加到3-5个，观察epoch间的损失变化。

2. 监控特定任务指标：除了通用评估，应设计针对SFT任务的专门评估方法。

3. 尝试不同学习率：可以在{1e-5, 5e-6, 1e-6}范围内进行小规模实验。

4. 使用更小的数据集调试：先用数据子集快速验证训练流程的有效性。

5. 注意评估时机：在完整epoch结束后进行评估，而非仅依赖训练中的损失曲线。

结论

在Open-Instruct项目中进行SFT训练时，缓慢的损失下降是正常现象，特别是当使用已经强大的基础模型时。开发者应更关注epoch间的改进和特定任务的评估结果，而非单纯依赖训练损失曲线的陡峭程度。理解这一现象有助于更合理地设置训练预期和评估策略。