SimpleRL-Zoo项目中Qwen-2.5-7B模型的训练细节解析

在开源项目SimpleRL-Zoo中，研究人员基于Qwen-2.5-7B大语言模型开发了强化学习训练版本Qwen-2.5-7B-SimpleRL-Zoo。本文将从技术角度深入解析该模型的训练过程与关键参数设置。

训练硬件配置与基本参数

该项目采用了2台配备8块H100-80G GPU的服务器进行训练。对于7B和14B参数规模的模型，研究人员进行了约100次rollout的训练过程，耗时约15小时。训练数据使用了8532个示例样本，这些数据来自simplelr_qwen_level3to5数据集。

训练过程详解

在强化学习训练过程中，每个训练步骤（step）会并行处理1024个提示（prompt）。对于每个提示，模型会生成8个不同的响应（response），这一参数由--rollout_n 8指定。在获得这些响应后，系统会计算相应的奖励（reward）并更新策略。

根据计算，8532个样本的数据集在1024的批次大小下，每个epoch大约需要8.33次rollout。因此，100次rollout的训练相当于约12个完整epoch。值得注意的是，由于每个提示生成了8个响应，模型实际上对每个训练样本进行了约96次（8×12）的"观察"。

数据集组成

训练使用的simplelr_qwen_level3to5数据集包含8532个训练样本。此外，研究人员还准备了500个问题作为测试集（MATH500），以及另外500个均匀采样的问题作为验证集。需要注意的是，公开的数据集中仅包含训练集和测试集，验证集未包含在发布的数据中。

模型发布版本

最终发布的Qwen-2.5-7B-SimpleRL-Zoo模型是基于90次rollout训练得到的版本。这个训练量略低于最初计划的100次rollout，但已经能够展现出显著的性能提升。

技术要点总结

1. 采用大规模并行训练策略，每个step处理1024个prompt
2. 每个prompt生成多个响应（8个）以增强策略学习
3. 总训练量约12个epoch，模型对每个样本进行了约96次"观察"
4. 使用独立验证集和测试集进行模型评估
5. 最终发布模型基于90次rollout训练结果

这种训练配置在保证训练效率的同时，通过多响应生成策略有效提升了模型在数学推理任务上的表现。对于希望复现或改进该工作的研究者，理解这些训练细节至关重要。