LMOps项目中GPT2模型蒸馏效果复现问题分析与解决方案

问题背景

在LMOps项目的MiniLLM模块中，研究人员尝试将GPT2-1.5B大模型蒸馏为120M小模型时遇到了复现困难。原始论文报告了较好的蒸馏效果，但在实际复现过程中，多个评估指标(Dollyeval、SelfInst、VicunaEval等)均未达到预期水平。

现象对比

通过对比实验数据发现：

1. SFT(监督微调)阶段：复现结果与论文数据基本吻合，表明基础训练过程正确

   • 论文报告：Dollyeval 23.3 vs 复现结果22.6
   • SelfInst 10.0 vs 9.2
   • VicunaEval 14.7 vs 14.7

2. MiniLLM蒸馏阶段：效果差距明显

   • Dollyeval差距0.5分(24.6 vs 24.1)
   • SelfInst差距3.5分(13.2 vs 9.7)
   • S-NI差距9.2分(25.3 vs 16.1)

原因分析

经过技术专家诊断，发现两个关键问题：

1. 初始检查点选择不当：复现时使用了完整训练周期(20epoch)后的检查点，而实际上应该选择验证损失最低的中间检查点(约1000步处)。这与论文B.1章节的建议不符。

2. 批量大小配置不足：原始实验采用总批量大小256(GPUS_PER_NODE * BATCH_SIZE)，而复现配置未达到这一标准，影响了训练稳定性。

解决方案

1. 检查点选择优化：

   • 推荐使用验证损失最低的中间检查点(约1000步处)
   • 或者直接使用官方提供的预训练初始化检查点

2. 训练配置调整：

   • 增加总批量大小至256
   • 确保GPU数量与单卡批量的乘积达到目标值

3. 训练监控：

   • 密切关注损失曲线变化
   • 定期保存中间检查点
   • 建立完善的验证机制

技术建议

对于模型蒸馏任务，建议注意以下几点：

1. 初始模型状态对蒸馏效果影响显著，过拟合的模型可能导致知识迁移效率下降
2. 大批量训练有助于提高训练稳定性，这对基于强化学习的蒸馏方法尤为重要
3. 损失曲线是重要的诊断工具，异常波动往往预示着配置问题
4. 多阶段验证(如每100步)可以更精准地捕捉最佳模型状态

通过以上调整，预期可以较好地复现论文报告的蒸馏效果，将GPT2-1.5B模型有效压缩为120M小模型，同时保持较强的语言理解和生成能力。