Stable Baselines3 并行训练中ep_rew_mean不显示的解决方案

问题背景

在使用Stable Baselines3进行强化学习训练时，许多开发者会遇到一个常见问题：当从单环境训练切换到使用SubprocVecEnv进行多进程并行训练时，训练日志中不再显示ep_len_mean(平均回合长度)和ep_rew_mean(平均回合奖励)这两个重要指标。这个问题尤其在自定义gym环境训练时容易出现。

问题原因分析

这个问题的根本原因在于缺少Monitor包装器(Wrapper)。在Stable Baselines3中，ep_len_mean和ep_rew_mean等回合统计信息是通过Monitor包装器来收集和记录的。当使用单环境训练时，这些信息会自动记录，但在使用SubprocVecEnv进行并行训练时，需要显式地为每个子环境添加Monitor包装器。

解决方案

要解决这个问题，需要在创建并行环境时为每个子环境添加Monitor包装器。具体实现方式如下：

1. 首先导入必要的Monitor包装器：

from stable_baselines3.common.monitor import Monitor

2. 修改环境创建函数，添加Monitor包装：

def make_env(env_class, seed, log_dir):
    def _init():
        env = env_class()
        env = Monitor(env, log_dir)
        env.seed(seed)
        return env
    return _init

3. 在创建并行环境时，为每个环境指定单独的日志目录：

env_fns = [make_env(env_class, seed=0, log_dir=f"./logs/env_{i}") 
           for i, env_class in enumerate(env_classes)]
vec_env = SubprocVecEnv(env_fns)

技术细节

Monitor包装器的工作原理是在每个回合结束时记录回合长度和累计奖励，并将这些信息提供给Stable Baselines3的训练日志系统。在并行环境中，每个子环境都需要独立的Monitor实例来正确收集各自的统计信息。

值得注意的是，Monitor包装器不仅会记录训练过程中的回合统计信息，还可以将完整的回合数据保存到文件中，便于后续分析。这也是为什么需要为每个子环境指定单独的日志目录。

最佳实践

1. 为每个并行环境创建独立的日志目录，避免文件写入冲突
2. 定期检查Monitor记录的数据文件，了解训练过程中的详细表现
3. 在自定义环境中确保正确实现了reset()和step()方法，这是Monitor正常工作的重要前提
4. 考虑使用VecMonitor作为替代方案，它提供了更高效的向量化环境监控方式

总结

在Stable Baselines3中使用多进程并行训练时，正确配置Monitor包装器是获取回合统计信息的关键。通过本文介绍的方法，开发者可以轻松解决ep_rew_mean等指标不显示的问题，从而更好地监控和评估强化学习模型的训练过程。理解这一机制也有助于开发者更深入地掌握Stable Baselines3的训练监控系统。