【亲测免费】 SERL 项目安装与使用教程

1. 项目的目录结构及介绍

SERL 项目的目录结构如下：

serl/
├── docs/
├── examples/
├── franka_sim/
├── serl_launcher/
│   ├── agents/
│   ├── wrappers/
│   ├── data/
│   ├── vision/
│   └── ...
├── serl_robot_infra/
│   ├── robot_servers/
│   └── franka_env/
├── .flake8
├── .gitignore
├── .pre-commit-config.yaml
├── LICENSE
└── README.md

目录结构介绍

• docs/: 存放项目的文档文件。
• examples/: 存放示例代码和教程。
• franka_sim/: 存放 Franka 机器人的模拟环境代码。
• serl_launcher/: 项目的主要代码目录，包含以下子目录：
  • agents/: 存放强化学习代理的策略代码，如 DRQ、SAC、BC 等。
  • wrappers/: 存放 Gym 环境的包装器代码。
  • data/: 存放回放缓冲区和数据存储的代码。
  • vision/: 存放与视觉相关的模型和工具代码。
• serl_robot_infra/: 存放与真实机器人交互的基础设施代码，包含以下子目录：
  • robot_servers/: 存放通过 ROS 发送命令给机器人的 Flask 服务器代码。
  • franka_env/: 存放真实 Franka 机器人的 Gym 环境代码。
• .flake8: 代码风格检查配置文件。
• .gitignore: Git 忽略文件配置。
• .pre-commit-config.yaml: 预提交钩子配置文件。
• LICENSE: 项目许可证文件。
• README.md: 项目介绍和使用说明。

2. 项目的启动文件介绍

SERL 项目的启动文件主要位于 serl_launcher/ 目录下。以下是一些关键的启动文件：

• serl_launcher/main.py: 这是项目的主启动文件，负责初始化环境和启动强化学习训练过程。
• serl_launcher/agents/drq_agent.py: 这是 DRQ 代理的启动文件，负责加载和运行 DRQ 策略。
• serl_launcher/agents/sac_agent.py: 这是 SAC 代理的启动文件，负责加载和运行 SAC 策略。

启动文件介绍

• main.py: 该文件包含了项目的主要逻辑，包括环境初始化、代理加载、训练循环等。通过运行该文件，可以启动 SERL 项目的强化学习训练过程。
• drq_agent.py: 该文件定义了 DRQ 代理的策略和训练逻辑。通过调用该文件中的函数，可以启动 DRQ 代理的训练。
• sac_agent.py: 该文件定义了 SAC 代理的策略和训练逻辑。通过调用该文件中的函数，可以启动 SAC 代理的训练。

3. 项目的配置文件介绍

SERL 项目的配置文件主要用于配置训练环境和代理参数。以下是一些关键的配置文件：

• serl_launcher/config.yaml: 这是项目的主要配置文件，包含了训练环境、代理参数、数据路径等配置项。
• serl_launcher/agents/drq_config.yaml: 这是 DRQ 代理的配置文件，包含了 DRQ 策略的具体参数。
• serl_launcher/agents/sac_config.yaml: 这是 SAC 代理的配置文件，包含了 SAC 策略的具体参数。

配置文件介绍

• config.yaml: 该文件包含了项目的主要配置项，如训练环境的路径、代理的类型、数据存储路径等。通过修改该文件，可以调整项目的整体配置。
• drq_config.yaml: 该文件包含了 DRQ 代理的具体配置参数，如学习率、折扣因子、批量大小等。通过修改该文件，可以调整 DRQ 代理的训练参数。
• sac_config.yaml: 该文件包含了 SAC 代理的具体配置参数，如学习率、折扣因子、批量大小等。通过修改该文件，可以调整 SAC 代理的训练参数。

通过以上配置文件，用户可以根据自己的需求调整 SERL 项目的训练环境和代理参数，以适应不同的任务和场景。