LLM-Reasoners项目中Game24任务Beam搜索的优化实践

在LLM-Reasoners项目的Game24任务实现过程中，开发者发现了一个影响结果准确性的关键问题：当模型成功计算出24点时，系统有时仍会错误地返回"correct=False"状态。这种现象源于beam搜索算法的一个实现缺陷，经过技术团队的深入分析后已得到修复。

问题现象分析

Game24是一个经典的数学推理任务，要求模型通过基本运算将4个给定数字组合出结果为24的表达式。项目采用beam搜索算法时，在特定配置下会出现以下异常情况：

1. 模型输出了正确的24点解算过程
2. 最终评估却标记为不正确（correct=False）
3. 实际返回值为None而非预期结果

这种情况在question 900等特定题目中表现尤为明显，导致即使模型给出正确解答也无法获得应有的正确判定。

技术背景解析

beam搜索是一种启发式图搜索算法，在LLM推理中常用于平衡生成质量和计算效率。项目中的实现包含以下关键参数配置：

• 搜索宽度（beam_size）：5
• 最大深度（max_depth）：4
• 采样策略（sampling_strategy）：argmax
• 奖励聚合方式（reward_aggregator）：last
• 提前终止（early_terminate）：True

这些参数的组合使用本应确保算法在发现有效解时立即返回最优结果，但实际实现中存在逻辑缺陷。

问题根源定位

经过技术团队排查，发现问题出在beam搜索的终止条件处理上：

1. 当early_terminate启用时，算法会在首次发现满足条件的解时终止搜索
2. 但结果验证环节与终止逻辑存在时序上的不一致
3. 导致部分有效解在评估前就被错误丢弃

解决方案实现

修复方案主要包含以下技术要点：

1. 重构beam搜索的终止判断逻辑
2. 确保结果验证与搜索过程同步
3. 优化奖励计算与结果返回的协作机制

改进后的实现保证了：

• 所有潜在解都会经过完整验证
• 正确解必定能通过评估检查
• 返回状态与实际计算结果严格一致

实践建议

对于使用LLM-Reasoners进行数学推理任务的开发者，建议：

1. 更新至包含修复的最新代码版本
2. 对于关键任务，建议设置beam_size≥3以确保搜索充分性
3. 可配合reward_aggregator='max'获取更稳定的表现
4. 复杂问题时适当增加max_depth至5-6

该修复显著提升了Game24任务的评估可靠性，为后续的数学推理研究提供了更准确的基础设施支持。