Qwen2-72B模型全参数微调中的学习率调度问题分析

问题背景

在Qwen2-72B大模型的全参数微调(SFT)过程中，研究人员发现了一个值得关注的现象：虽然模型训练过程中的损失函数能够正常收敛，但学习率却始终保持在初始设定的1e-5水平，未能按照预期的余弦衰减策略进行调整。这一现象发生在使用8台H100 GPU（每台8卡）的分布式训练环境中。

技术细节分析

训练配置参数

训练脚本中配置了以下关键参数：

• 优化器：AdamW
• 初始学习率：1e-5
• 学习率调度器类型：cosine
• 预热比例：0.01
• 批量大小：每设备2个样本
• 梯度累积步数：2
• 训练周期数：3
• 混合精度训练：bf16
• 梯度检查点：启用
• DeepSpeed配置：使用zero3策略

现象描述

从训练监控数据可以观察到：

1. 模型损失函数呈现正常的下降趋势，表明训练过程基本正常
2. 学习率曲线保持水平直线，没有出现预期的余弦衰减形态
3. 训练过程没有报错，其他指标均正常

根本原因

经过技术分析，发现这一现象与DeepSpeed的配置有关。在DeepSpeed的配置文件中，默认使用了"WarmupLR"调度器，这会覆盖命令行参数中指定的余弦衰减策略。具体机制如下：

1. DeepSpeed的配置优先级高于训练脚本中的参数
2. 当DeepSpeed配置中指定了学习率调度器时，会忽略transformers中的调度器设置
3. 默认配置中的"WarmupLR"只实现了学习率预热，没有衰减阶段

解决方案

针对这一问题，有两种可行的解决方案：

方案一：使用DeepSpeed的新版调度器

新版本的DeepSpeed已经支持"WarmupCosineLR"调度器，可以实现预热和余弦衰减的组合效果。需要按照DeepSpeed的文档规范进行配置，明确指定调度器类型和相关参数。

方案二：分离优化器和调度器

利用transformers和DeepSpeed的兼容性设计：

1. 在DeepSpeed配置文件中移除调度器相关配置
2. 完全依赖transformers提供的学习率调度策略
3. 仅使用DeepSpeed管理优化器状态和梯度聚合

这种方案的优势在于可以直接使用transformers丰富的调度器实现，同时仍能享受DeepSpeed的内存优化好处。

实践建议

对于大规模模型训练，建议：

1. 明确区分优化器和学习率调度的责任边界
2. 在分布式训练前，先在小规模环境下验证学习率调度行为
3. 监控训练初期阶段的学习率变化，确保调度策略按预期工作
4. 对于关键训练任务，考虑实现自定义的调度器验证逻辑

总结

Qwen2-72B这类大模型的训练过程中，学习率调度是一个需要特别关注的环节。由于分布式训练框架的复杂性，各种配置参数的优先级和覆盖关系可能导致预期外的行为。理解底层机制并掌握调试方法，对于确保训练效果至关重要。本文分析的问题和解决方案不仅适用于Qwen2项目，对于其他大模型训练也具有参考价值。