DRL-ZH项目中的策略梯度实现问题分析与改进

在DRL-ZH项目的04_PG.ipynb笔记本中，关于策略梯度（Policy Gradient）算法的实现存在几个关键的技术问题，这些问题会影响算法的收敛性和训练效果。本文将详细分析这些问题及其解决方案。

基准线（Baseline）实现问题

原始实现中使用了单次episode内所有时间步未来奖励的平均值作为基准线。这种方法存在两个主要缺陷：

1. 时间相关性：由于未来奖励是随时间递减的，这种方法会导致后期时间步总是获得负奖励。例如，对于未来奖励序列[5,4,3,2,1]，减去平均值3后会得到[2,1,0,-1,-2]。

2. 与标准化重复：减去平均值会使后续标准化步骤中的均值中心化失效，因为数据已经零均值化。

正确的做法应该是：

• 为每个时间步计算独立的基准线
• 使用多个轨迹的统计数据来计算基准线

标准化（Normalization）实现问题

原始实现中对单个轨迹内的所有时间步进行标准化，这也是不合理的：

1. 统计意义不足：单个轨迹的数据不足以反映奖励的真实分布
2. 时间维度混淆：不同时间步的奖励应该独立标准化

改进方案应该是：

• 对每个时间步，使用多个轨迹的数据计算均值和标准差
• 可以采用滑动窗口（如最近5个轨迹）来估计统计量

实验验证

通过实验比较发现：

1. 移除原始实现的基准线和标准化步骤后，算法收敛更快
2. 使用改进的标准化方法（基于多个轨迹）能获得更好的收敛性能
3. 添加合理的基准线（如基于状态的启发式函数）可以进一步提升性能

解决方案实现

最终解决方案采用了以下改进：

1. 使用gym.vector.Env实现并行环境采样
2. 对每个时间步使用多个独立轨迹的数据进行标准化
3. 设计基于CartPole状态的启发式基准线函数
4. 修改奖励函数以更好反映动作质量

经验总结

1. 策略梯度算法对基准线和标准化实现非常敏感
2. 统计量应该基于多个独立轨迹计算，而非单个轨迹内的时间步
3. 简单的启发式基准线可以显著提升性能
4. 奖励函数设计是强化学习中的关键难点

这些改进使得笔记本能够更好地展示基本的策略梯度技术，为学习者提供更准确的理解和实践基础。