Sample Factory 开源项目教程

1. 项目介绍

Sample Factory 是一个专注于高效同步和异步实现策略梯度（如 PPO）的高吞吐量强化学习库。它旨在通过优化算法架构和资源利用率，在单机设置下实现高效率的训练。Sample Factory 支持多种训练模式，包括同步和异步训练、单进程模式（便于调试），以及在 CPU 和 GPU 加速环境中的最佳性能。此外，它还支持单代理和多代理训练、自对弈、多策略训练、基于种群的训练（PBT）等功能。

2. 项目快速启动

安装

首先，从 PyPI 安装 Sample Factory：

pip install sample-factory

Sample Factory 支持 Linux 和 macOS，目前不支持 Windows。

快速启动

使用命令行训练一个代理，例如使用 Mujoco 环境：

python -m sf_examples.mujoco.train_mujoco --env=mujoco_ant --experiment=Ant --train_dir=/train_dir

训练完成后，可以使用以下命令评估代理：

python -m sf_examples.mujoco.enjoy_mujoco --env=mujoco_ant --experiment=Ant --train_dir=/train_dir

或者使用更快的评估脚本（无渲染）：

python -m sf_examples.mujoco.fast_eval_mujoco --env=mujoco_ant --experiment=Ant --train_dir=/train_dir --sample_env_episodes=128 --num_workers=16 --num_envs_per_worker=2

3. 应用案例和最佳实践

应用案例

Sample Factory 已被广泛应用于多个领域，包括但不限于：

• 视频游戏：训练复杂的代理以在视频游戏中达到高水平表现。
• 机器人：通过模拟到现实的转移，训练机器人执行复杂任务。
• 多人在线射击游戏：使用自对弈和基于种群的训练技术，训练高度能力的代理。

最佳实践

• 调试模式：在单进程模式下运行以简化调试过程。
• 性能优化：在 GPU 加速环境中运行以最大化吞吐量。
• 多策略训练：利用多策略训练和自对弈技术，提升代理的多样性和适应性。

4. 典型生态项目

Sample Factory 与其他强化学习生态项目有良好的集成，包括：

• Tensorboard：用于监控实验和可视化训练过程。
• Weights and Biases (WandB)：用于详细记录和分析实验数据。
• Hugging Face 🤗：用于上传训练模型和指标到 Hugging Face Hub。

这些工具和平台的集成，使得 Sample Factory 成为一个功能强大且易于扩展的强化学习框架。