MAAC 开源项目使用教程

1. 项目的目录结构及介绍

MAAC/
├── agents/
│   ├── base_agent.py
│   ├── maac_agent.py
│   └── ...
├── envs/
│   ├── base_env.py
│   ├── simple_spread_env.py
│   └── ...
├── models/
│   ├── critic.py
│   ├── actor.py
│   └── ...
├── utils/
│   ├── buffer.py
│   ├── logger.py
│   └── ...
├── config/
│   ├── config.yaml
│   └── ...
├── main.py
├── README.md
└── ...

目录结构介绍

• agents/: 包含项目的智能体（Agent）实现，如 base_agent.py 和 maac_agent.py。
• envs/: 包含项目的环境（Environment）实现，如 base_env.py 和 simple_spread_env.py。
• models/: 包含项目的模型实现，如 critic.py 和 actor.py。
• utils/: 包含项目的工具类和辅助函数，如 buffer.py 和 logger.py。
• config/: 包含项目的配置文件，如 config.yaml。
• main.py: 项目的启动文件。
• README.md: 项目的说明文档。

2. 项目的启动文件介绍

main.py

main.py 是项目的启动文件，负责初始化环境、加载配置、创建智能体并启动训练或测试过程。

import argparse
from config.config import load_config
from envs.simple_spread_env import SimpleSpreadEnv
from agents.maac_agent import MAACAgent

def main():
    parser = argparse.ArgumentParser(description="MAAC Project")
    parser.add_argument('--config', type=str, default='config/config.yaml', help='Path to the config file')
    args = parser.parse_args()

    config = load_config(args.config)
    env = SimpleSpreadEnv(config)
    agent = MAACAgent(config, env)

    # 启动训练或测试
    if config['mode'] == 'train':
        agent.train()
    elif config['mode'] == 'test':
        agent.test()

if __name__ == "__main__":
    main()

启动文件功能

• 加载配置: 通过 load_config 函数加载配置文件 config.yaml。
• 初始化环境: 创建 SimpleSpreadEnv 环境实例。
• 创建智能体: 创建 MAACAgent 智能体实例。
• 启动训练或测试: 根据配置文件中的 mode 参数，启动训练或测试过程。

3. 项目的配置文件介绍

config/config.yaml

config.yaml 是项目的配置文件，包含项目的各种参数设置，如环境参数、训练参数、模型参数等。

mode: train
env:
  num_agents: 3
  num_landmarks: 3
  max_steps: 25

training:
  batch_size: 1024
  epochs: 1000
  learning_rate: 0.001

model:
  hidden_size: 64
  num_layers: 2

logging:
  log_interval: 10
  save_interval: 100

配置文件内容介绍

• mode: 指定项目运行模式，可以是 train 或 test。
• env: 环境相关参数，如 num_agents（智能体数量）、num_landmarks（地标数量）、max_steps（最大步数）。
• training: 训练相关参数，如 batch_size（批量大小）、epochs（训练轮数）、learning_rate（学习率）。
• model: 模型相关参数，如 hidden_size（隐藏层大小）、num_layers（层数）。
• logging: 日志相关参数，如 log_interval（日志记录间隔）、save_interval（模型保存间隔）。

通过配置文件，用户可以灵活调整项目的运行参数，以适应不同的需求和环境。