PCC-RL 项目使用教程

1. 项目的目录结构及介绍

PCC-RL 项目是一个面向性能导向拥塞控制（Performance-oriented Congestion Control）的强化学习资源库。项目的目录结构如下：

PCC-RL/
├── src/                # 源代码目录
│   ├── gym/            # gym环境相关文件
│   │   ├── online/      # 在线测试或训练相关文件
│   ├── .gitignore      # git忽略文件
│   ├── LICENSE.txt     # 许可证文件
│   └── README.md       # 项目说明文件
└── README.md           # 项目总体说明文件

• src/: 包含所有源代码和相关文件。
  • gym/: 包含了用于训练强化学习模型的 gym 环境。
    • online/: 包含了在真实世界或模拟网络中测试模型的代码。
  • .gitignore: 指定 git 应该忽略的文件和目录。
  • LICENSE.txt: 项目的许可证信息。
  • README.md: 每个目录下的说明文件，解释该目录下的内容。

2. 项目的启动文件介绍

在 src/gym/ 目录下，主要的启动文件是 stable_solve.py。这个脚本用于启动强化学习模型的训练过程。

启动训练的基本命令如下：

python stable_solve.py

默认情况下，该脚本会复现 ICML 2019 论文《A Reinforcement Learning Perspective on Internet Congestion Control》中提出的模型。

3. 项目的配置文件介绍

在 src/gym/ 目录中，可能存在配置文件，用于调整 gym 环境和训练过程。这些配置文件通常是 Python 脚本或者 JSON 文件，具体名称和位置可能会根据项目版本而有所不同。

配置文件可能包括以下内容：

• 环境参数：如网络拓扑、数据包大小、延迟等。
• 训练参数：如学习率、探索率、模型架构等。
• 测试参数：如测试时长、测试数据集等。

用户需要根据具体需求和项目文档来修改这些配置文件，以达到自定义的实验设置。

在修改配置文件后，重新运行 stable_solve.py 脚本，以应用新的配置进行训练或测试。