Open-R1项目中GRPO训练格式奖励下降问题分析与解决方案

问题背景

在Open-R1项目中使用GRPO方法对Qwen2.5-1.5B-Instruct模型进行训练时，研究人员发现了一个值得关注的现象：当使用NuminaMath-TIR数据集进行单epoch训练时，格式奖励（format reward）在约50个训练步骤后会急剧下降至零值。与此同时，模型在gpqa:diamond指标上的表现也从基础模型的0.3081下降到了0.2424。

问题诊断

通过深入分析，研究人员发现了几个关键问题点：

1. 输出长度限制：模型生成的输出内容超出了预设的max_completion_length（1024个token），导致正则表达式无法正确匹配预期的格式模式。训练日志显示，当输出长度超过限制时，格式奖励的提取就会失败。

2. 基础模型对齐问题：Qwen2.5-1.5B-Instruct作为基础模型（未经对齐训练），其输出格式无法满足奖励函数要求的特定模式（特别是无法将答案放入\boxed{}格式中）。

3. 正则表达式匹配：定义的格式奖励函数使用正则表达式检查输出是否包含特定的XML风格标签结构（...后跟...），但过长的输出会导致匹配失败。

解决方案验证

研究人员尝试了两种有效的解决方案：

1. 升级基础模型：将基础模型更换为数学能力更强的Qwen2.5-Math-7B，配合NuminaMath-TIR数据集进行训练。实验结果表明，这种组合能够维持稳定的格式奖励，解决了奖励下降的问题。

2. 添加系统提示：在配置文件中加入适当的系统提示（system prompt），引导模型生成符合要求的输出格式。这种方法理论上可以改善基础模型的输出对齐问题。

技术建议

对于遇到类似问题的研究人员，建议考虑以下技术方案：

1. 输出长度控制：合理设置max_completion_length参数，确保其足够容纳完整的思考过程和答案，同时不超过模型的处理能力。

2. 模型选择：针对数学推理任务，优先选择经过数学领域预训练或微调的模型作为基础模型。

3. 奖励函数设计：设计更鲁棒的奖励函数，能够处理输出截断情况，或者实现渐进式的格式奖励。

4. 渐进式训练：可以考虑先进行SFT（监督微调）使模型初步掌握所需格式，再进行GRPO训练。

结论

Open-R1项目中的这一案例展示了强化学习训练过程中奖励设计的重要性。通过合理的模型选择和技术调整，可以有效解决格式奖励下降的问题。这一经验对于其他基于人类反馈的强化学习（RLHF）项目也具有参考价值，特别是在处理结构化输出和特定领域任务时。