Tianshou项目中PPO算法在Atari游戏上的性能问题分析与解决

引言

在强化学习领域，PPO（Proximal Policy Optimization）算法因其优秀的性能和稳定性而广受欢迎。然而，近期有开发者在使用Tianshou项目中的PPO实现时，发现其无法在Atari游戏上复现原始论文中的性能表现。本文将深入分析这一问题，并探讨解决方案。

问题背景

开发者在使用Tianshou的PPO实现时，严格按照原始PPO论文和ICLR博客中的超参数设置进行实验，包括：

• 使用8个并行环境
• 每批128步
• 批量大小256
• 4个mini-batch
• 4个epoch
• 折扣因子0.99
• GAE λ=0.95
• 裁剪范围0.1
• 价值函数裁剪范围0.1
• 优势归一化
• 熵系数0.01
• 价值函数系数0.5
• 最大梯度归一化0.5

然而，在56个Atari游戏上的测试结果显示，Tianshou的实现仅在极少数简单游戏中表现良好，大多数情况下无法学习到有效策略。

深入分析

1. 实现差异排查

通过对比Baselines、Stable Baselines3和CleanRL的实现，发现Tianshou在以下几个方面存在潜在差异：

• 网络初始化方式：原始实现使用正交初始化，对actor和critic头分别使用0.01和1的标准差
• 学习率调度策略：原始实现使用线性衰减学习率
• 观察值缩放：原始实现将像素值缩放到[0,1]范围

2. 数值稳定性问题

在部分游戏（如Atlantis、BankHeist、YarsRevenge）中，训练会因数值问题意外终止，出现NaN错误。这表明在特定条件下，算法可能出现了数值不稳定。

3. 性能验证实验

为了验证问题，开发者在Breakout游戏上进行了对比实验：

• Tianshou v0.5.0：47个epoch后崩溃，测试奖励仅33±16
• Tianshou v1.0.0：100个epoch后达到445±117
• Tianshou v1.1.0-dev：100个epoch后达到315±36

这些结果表明新版本性能有所改善，但仍未达到理想水平。

问题根源

经过深入排查，发现问题主要出在学习率调度器的实现上。开发者最初使用的学习率调度方式会导致学习率过早衰减至0，使得模型在第二epoch后就停止学习，测试奖励固定在极低水平。

解决方案

1. 修正学习率调度

采用Tianshou推荐的学习率调度方式后，问题得到解决。具体修改包括：

• 使用更合理的初始学习率
• 调整学习率衰减策略
• 确保学习率不会过早衰减至0

2. 其他优化建议

• 网络初始化：确保actor和critic头使用正确的正交初始化参数
• 数值稳定性：添加梯度裁剪和数值检查，防止NaN出现
• 超参数调优：针对不同游戏微调关键参数

结论

本次性能问题的核心原因在于学习率调度策略的不当实现。通过修正这一问题，Tianshou的PPO实现能够在Atari游戏上达到与原始论文相当的性能水平。这一案例也提醒我们，在复现算法时，需要对每个实现细节保持高度关注，特别是那些看似次要但实际上对性能有重大影响的组件。

对于强化学习实践者而言，这一经验强调了：

1. 超参数实现细节的重要性
2. 系统性能验证的必要性
3. 学习率调度对训练稳定性的关键影响

未来，Tianshou项目将继续完善其实现，确保各算法在各种环境下的稳定性和性能表现。