Stable Baselines3中策略网络特征提取器的梯度共享机制解析

在深度强化学习框架Stable Baselines3中，策略网络的特征提取器设计存在两种不同的梯度处理方式，这反映了算法设计者对不同训练场景的深刻理解。本文将深入剖析这一技术细节及其背后的设计考量。

特征提取器的梯度控制机制

在连续动作空间的Critic网络实现中，代码通过torch.set_grad_enabled(not self.share_features_extractor)实现了一个关键功能：当特征提取器被共享时，Critic网络的损失不会反向传播到特征提取器。这种设计虽然与注释文字表面看似矛盾，但实际上体现了正确的实现逻辑。

离策略与在策略算法的差异处理

离策略算法（如SAC、TD3）和在策略算法（如PPO）对共享特征提取器的处理存在显著差异：

1. 离策略算法：建议不共享特征提取器。若必须共享，则仅使用Critic损失来更新特征提取器，避免Actor和Critic目标冲突导致的训练不稳定。

2. 在策略算法：允许同时使用Actor和Critic损失来更新共享的特征提取器。这是因为在策略更新中，Actor和Critic的更新是同步进行的，实验表明这种联合更新方式在实践中表现良好。

技术实现细节

在代码实现层面，两种处理方式通过不同的网络结构设计实现：

• ActorCriticPolicy：特征提取器的输出直接传递给MLP提取器，梯度可以自由流动，允许双路损失共同影响特征提取。

• ContinuousCritic：通过梯度控制语句显式阻断Critic损失对共享特征提取器的影响，确保只有Actor路径可以更新共享参数。

这种差异化的设计反映了强化学习算法在不同训练范式下的实际需求，是算法工程师基于大量实验得出的经验性结论。理解这些细节有助于开发者在自定义网络结构时做出更合理的设计选择。