MBPO 项目使用教程

1. 项目目录结构及介绍

MBPO 项目的目录结构如下：

mbpo/
├── environment/
│   └── gpu-env.yml
├── examples/
│   └── config/
│       └── halfcheetah/
│           └── 0.py
├── mbpo/
│   ├── static/
│   │   └── hopper.py
│   └── __init__.py
├── softlearning/
├── viskit/
├── .gitignore
├── .gitmodules
├── LICENSE
├── README.md
└── setup.py

目录结构介绍

• environment/: 包含项目的依赖环境配置文件 gpu-env.yml。
• examples/: 包含项目的示例配置文件，位于 config/ 目录下，例如 halfcheetah/0.py。
• mbpo/: 项目的主要代码目录，包含静态文件 static/ 和初始化文件 __init__.py。
• softlearning/: 包含与软学习相关的代码。
• viskit/: 包含可视化工具的代码。
• .gitignore: Git 忽略文件配置。
• .gitmodules: Git 子模块配置。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文件。
• setup.py: 项目安装脚本。

2. 项目启动文件介绍

MBPO 项目的启动文件位于 examples/ 目录下。启动项目的命令如下：

mbpo run_local examples/development --config=examples/config/halfcheetah/0 --gpus=1 --trial-gpus=1

启动文件介绍

• run_local: 这是启动本地运行的脚本。
• examples/development: 这是示例配置文件的路径。
• --config=examples/config/halfcheetah/0: 指定配置文件的路径。
• --gpus=1: 指定使用的 GPU 数量。
• --trial-gpus=1: 指定每个试验使用的 GPU 数量。

3. 项目的配置文件介绍

配置文件位于 examples/config/ 目录下，例如 halfcheetah/0.py。配置文件中包含项目的各种参数设置，例如模型训练的超参数、环境配置等。

配置文件示例

# examples/config/halfcheetah/0.py

# 模型训练的超参数
rollout_schedule = [20, 100, 1, 5]
max_model_t = 300  # 模型训练的超时时间（秒）
model_train_freq = 250  # 模型训练的频率（步数）

# 其他配置参数
# ...

配置文件介绍

• rollout_schedule: 定义模型推演长度的调度，格式为 [start_epoch, end_epoch, start_length, end_length]。
• max_model_t: 模型训练的超时时间，单位为秒。
• model_train_freq: 模型训练的频率，单位为步数。

通过这些配置文件，用户可以自定义项目的运行参数，以适应不同的环境和需求。