Multi-Agent Mujoco 项目使用教程

1. 项目目录结构及介绍

Multi-Agent Mujoco 是一个基于 OpenAI Mujoco Gym 环境的连续多智能体机器人控制基准。以下是项目的目录结构及其介绍：

multiagent_mujoco/
├── .idea/                     # PyCharm 项目配置文件
├── docs/                      # 项目文档
│   └── images/                # 文档中的图片资源
├── multiagent_mujoco/         # 核心代码目录
│   ├── .gitignore             # Git 忽略文件
│   ├── LICENSE                # 项目许可证文件
│   ├── README.md              # 项目说明文件
│   ├── setup.py               # 项目安装脚本
│   └── obsk.py                # 观察空间配置文件
└── /src/                      # 源代码目录

2. 项目的启动文件介绍

项目的启动主要通过 main.py 文件进行。以下是 main.py 文件的基本结构和功能：

# 导入必要的模块
from multiagent_mujoco.mujoco_multi import MujocoMulti
import numpy as np
import time

def main():
    # 设置环境参数
    env_args = {
        "scenario": "HalfCheetah-v2",
        "agent_conf": "2x3",
        "agent_obsk": 0,
        "episode_limit": 1000
    }
    
    # 创建环境实例
    env = MujocoMulti(env_args=env_args)
    env_info = env.get_env_info()
    
    # 获取动作和智能体数量
    n_actions = env_info["n_actions"]
    n_agents = env_info["n_agents"]
    
    # 运行一定数量的回合
    n_episodes = 10
    for e in range(n_episodes):
        env.reset()
        terminated = False
        episode_reward = 0
        
        while not terminated:
            # 获取观察值和状态
            obs = env.get_obs()
            state = env.get_state()
            
            # 生成随机动作
            actions = []
            for agent_id in range(n_agents):
                avail_actions = env.get_avail_agent_actions(agent_id)
                action = np.random.uniform(-1.0, 1.0, n_actions)
                actions.append(action)
            
            # 执行动作并获取奖励
            reward, terminated, _ = env.step(actions)
            episode_reward += reward
            time.sleep(0.1)
            env.render()
        
        print(f"Total reward in episode {e} = {episode_reward}")
    
    env.close()

if __name__ == "__main__":
    main()

3. 项目的配置文件介绍

项目的配置主要通过 env_args 字典进行。以下是配置文件中的几个关键参数：

• scenario: 确定底层单个智能体 OpenAI Gym Mujoco 环境。
• agent_conf: 确定智能体分割方式，格式为 n_agents x motors_per_agent。
• agent_obsk: 确定智能体能观察到的连接距离。
• k_categories: 描述在不同连接距离下可观察的属性。
• global_categories: 与 k_categories 类似，但涉及一些全局属性。

通过修改这些配置参数，用户可以根据需要调整智能体环境和观察空间。