deeprl_signal_control 项目使用教程

1. 项目目录结构及介绍

deeprl_signal_control/
├── agents/
│   ├── __init__.py
│   └── ...
├── config/
│   ├── __init__.py
│   └── ...
├── envs/
│   ├── __init__.py
│   └── ...
├── figs/
│   └── ...
├── large_grid/
│   └── ...
├── real_net/
│   └── ...
├── real_net_experimental_data/
│   └── ...
├── small_grid/
│   └── ...
├── LICENSE
├── README.md
├── __init__.py
├── extract_tensorboard.py
├── main.py
├── result_plot.ipynb
├── setup_eval.py
├── setup_mac.sh
├── setup_ubuntu.sh
└── utils.py

目录结构介绍

• agents/: 包含多智能体深度强化学习算法的实现代码。
• config/: 包含项目的配置文件，用于定义超参数和环境配置。
• envs/: 包含环境相关的代码，用于模拟交通信号控制环境。
• figs/: 包含项目生成的图表文件。
• large_grid/: 包含大规模交通网格环境的模拟数据和配置。
• real_net/: 包含真实网络环境的模拟数据和配置。
• real_net_experimental_data/: 包含真实网络环境的实验数据。
• small_grid/: 包含小规模交通网格环境的模拟数据和配置。
• LICENSE: 项目的开源许可证文件。
• README.md: 项目的介绍和使用说明。
• init.py: Python包初始化文件。
• extract_tensorboard.py: 用于提取TensorBoard日志的脚本。
• main.py: 项目的启动文件，用于训练和评估智能体。
• result_plot.ipynb: Jupyter Notebook文件，用于结果的可视化。
• setup_eval.py: 用于设置评估环境的脚本。
• setup_mac.sh: 用于在Mac系统上安装依赖的脚本。
• setup_ubuntu.sh: 用于在Ubuntu系统上安装依赖的脚本。
• utils.py: 包含项目中使用的各种工具函数。

2. 项目的启动文件介绍

main.py

main.py 是项目的启动文件，用于训练和评估智能体。以下是该文件的主要功能：

• 训练智能体: 通过调用 main.py 文件，可以启动智能体的训练过程。训练过程中会使用配置文件中定义的超参数和环境配置。
• 评估智能体: 训练完成后，可以通过 main.py 文件对训练好的智能体进行评估，评估结果会输出到指定的目录。
• 可视化: 可以通过 main.py 文件启动可视化功能，查看智能体在环境中的行为。

使用示例

# 训练智能体
python3 main.py --base-dir [base_dir]/[agent] train --config-dir [config_dir] --test-mode no_test

# 评估智能体
python3 main.py --base-dir [base_dir] evaluate --agents [agents] --evaluation-seeds [seeds]

# 可视化智能体行为
python3 main.py --base-dir [base_dir] evaluate --agents [agent] --evaluation-seeds [seed] --demo

3. 项目的配置文件介绍

config/ 目录

config/ 目录下包含项目的配置文件，用于定义训练和评估过程中的超参数和环境配置。配置文件通常以 .yaml 或 .json 格式存储。

配置文件示例

# config/example_config.yaml

# 训练参数
train:
  epochs: 100
  batch_size: 32
  learning_rate: 0.001

# 环境参数
environment:
  grid_size: 5x5
  traffic_flow: 100
  signal_duration: 60

# 智能体参数
agent:
  type: ia2c
  hidden_layers: [64, 64]
  activation: relu

配置文件的使用

在启动训练或评估时，可以通过 --config-dir 参数指定配置文件的路径。例如：

python3 main.py --base-dir [base_dir]/[agent] train --config-dir config/example_config.yaml

通过配置文件，可以灵活地调整训练和评估过程中的各种参数，以适应不同的环境和需求。