Tianshou项目中的Launcher并行实验机制优化探讨

背景与现状分析

Tianshou作为深度强化学习框架，其Launcher模块设计初衷是支持多实验并行启动。当前实现基于Python标准库的multiprocessing和第三方loky后端，但在实际使用中暴露出两个典型问题：

1. Ubuntu系统下loky后端会出现pickle序列化错误
2. 直接使用multiprocessing时触发"daemonic process can't have children"异常

这种现象的根本原因在于Python多进程编程模型的复杂性：

• 守护进程限制：Python禁止守护进程创建子进程，这是操作系统的安全机制
• 序列化要求：跨进程通信需要pickle序列化，某些复杂对象无法正确处理
• 系统差异性：不同操作系统对进程fork的处理方式存在差异

技术解决方案对比

现有方案优化

通过实践发现，使用VectorEnvType.SUBPROC_SHARED_MEM_FORK_CONTEXT而非默认的VectorEnvType.SUBPROC_SHARED_MEM可以解决部分问题。这是因为：

• FORK_CONTEXT采用更安全的进程创建方式
• 显式指定了内存共享策略
• 兼容更多Unix-like系统

潜在改进方向

1. Ray集成方案：

   • 天然支持分布式任务调度
   • 提供更健壮的序列化机制
   • 支持跨节点扩展
   • 示例架构：

     @ray.remote
     def run_experiment(config):
         # 实验执行逻辑
         return metrics
     
     futures = [run_experiment.remote(cfg) for cfg in configs]
     ray.get(futures)
     

2. Hydra集成方案：

   • 提供成熟的配置管理
   • 支持多种任务启动器插件
   • 需要处理与现有配置系统的兼容性

工程实践建议

对于单机多实验场景，建议：

1. 合理设置并行度：不超过CPU物理核心数的70%
2. 资源隔离：为每个实验分配独立的内存区域
3. 异常处理：实现自动重试机制

对于分布式场景，应考虑：

1. 任务队列管理
2. 资源动态分配
3. 结果收集的统一接口

最佳实践示例

from tianshou.launcher import ExperimentLauncher
from tianshou.env import VectorEnvType

# 推荐配置方式
launcher = ExperimentLauncher(
    env_type=VectorEnvType.SUBPROC_SHARED_MEM_FORK_CONTEXT,
    max_workers=4,  # 根据实际CPU核心数调整
    retry_policy={"max_attempts": 3}
)

未来演进方向

1. 插件化架构：支持用户自定义启动器
2. 智能调度：根据资源使用情况动态调整并行度
3. 混合并行：结合数据并行和实验并行的优势

通过持续优化启动机制，Tianshou可以更好地支持大规模强化学习实验的自动化管理，提升研究效率。