如何写你的第一个多目标强化学习程序:MO-Gymnasium Minecart 环境完整实战教程

原创2026-10-12 18:27:581,348 阅读

如何写你的第一个多目标强化学习程序:MO-Gymnasium Minecart 环境完整实战教程

MO-Gymnasium 是一个开源的 Python 多目标强化学习(MORL)环境库,它沿用 Gymnasium 的标准 API,但 step 返回的是 numpy 数组形式的向量奖励。本教程以 Minecart(矿井矿车)环境为主线,带你从零写出第一个多目标强化学习交互程序:创建环境、查看空间、运行随机智能体,并用 LinearReward 把多目标奖励标量化为单目标。无需任何强化学习基础,跟着做即可跑通。

MO-Gymnasium 多目标强化学习环境库项目 Banner 图

为什么用 MO-Gymnasium 入门多目标强化学习

在真实场景中,智能体往往要同时兼顾多个目标——例如既要多采矿石、又要省燃料。传统的单标量奖励无法表达这种权衡,而多目标强化学习(Multi-Objective Reinforcement Learning)正是为此而生。

MO-Gymnasium 的价值在于:

  • 标准 API:与 Gymnasium 完全兼容,reset / step 用法不变,只是奖励从标量变成了向量
  • 经典 MORL 基准环境:涵盖文献中常用的 Minecart、Deep Sea Treasure、Fishwood 等环境,以及 MuJoCo 系列的多目标版本
  • 开箱即用的多目标工具:LinearReward 标量化、MONormalizeReward 归一化等 wrapper,直接集成到你的训练流程

最快安装 MO-Gymnasium 的步骤

只需一条 pip 命令即可安装核心包:

pip install mo-gymnasium

💡 若还想使用 MuJoCo 等全部环境族,可执行 pip install "mo-gymnasium<a href="https://link.gitcode.com/i/56021ebd5eca551032b20d7a20e45eb3" target="_blank">all]" 安装所有依赖。安装细节参见 [install.md。

认识 Minecart 环境:采矿石、省燃料的三目标挑战

Minecart 是多目标强化学习领域的经典基准(源自 Abels et al. 2019)。任务设定非常直观:

MO-Gymnasium Minecart 矿井矿车多目标强化学习环境动画

  • 地图左上角的红色区域是基地,矿车从基地出发,驶向地图上随机分布的 5 个矿点
  • 每次执行采矿动作会从最近的矿点采获 两种矿石,采获量服从矿点自身的正态分布
  • 矿石装满后必须返回基地"出售",基地售出矿石时才会产生矿石奖励
  • 整个行程的每一步都在消耗燃料(加速、采矿动作耗油更多)

因此它天然拥有 3 个奖励维度,正好演示多目标之间的权衡:多采矿石 ⟷ 少耗燃料。

空间 维度 内容
观测空间 7 维向量 矿车 2D 位置、速度、朝向 sin/cos、两种矿石的装载比例
动作空间 6 个离散动作 Mine(采矿)、Left、Right、Accelerate、Brake、None
奖励空间 3 维向量 [矿石1 售出量, 矿石2 售出量, 燃料消耗],前两者稀疏、燃料为稠密负奖励

几个实用要点:

  • 每个 episode 上限 1000 步(超出后 truncated=True),矿车返回基地则 terminated=True
  • 环境注册在 init.py,环境实现见 minecart.py
  • 矿点布局与矿石分布由 mine_config.json 定义,你可以传入自定义 config 文件复现实验

第一步:创建 Minecart 环境并查看空间

MO-Gymnasium 自带一个增强版 make(utils.py),默认关闭环境检查器,因为多目标奖励是向量而非标量:

import mo_gymnasium as mo_gym

env = mo_gym.make("minecart-v0")

obs, info = env.reset(seed=42)
print("观测空间:", env.observation_space)
print("动作空间:", env.action_space)
print("奖励空间:", env.reward_space)

与 Gymnasium 相比,唯一的新面孔就是 reward_space——它告诉我们奖励是一个 3 维 Box。

第二步:运行你的第一个多目标随机智能体

下面用随机动作跑完一个完整 episode。注意 step 返回的 vector_reward 是一个 numpy 数组:

import mo_gymnasium as mo_gym

env = mo_gym.make("minecart-v0")
obs, info = env.reset(seed=42)

terminated = truncated = False
while not (terminated or truncated):
    obs, vector_reward, terminated, truncated, info = env.step(env.action_space.sample())
    if vector_reward.any():
        print(vector_reward)  # 例如 [0.05  0.0   -0.02]

env.close()

运行中你会看到两种类型的奖励向量:

  • 行驶 / 采矿步:只有第三维(燃料)为负值
  • 矿石售出的那一步:前两个维度出现正值——这就是稀疏奖励的典型形态

想直观看到矿车怎么跑?把 render_mode="human" 传给 make 即可弹出窗口渲染。

第三步:用 LinearReward 把向量奖励标量化

大多数现成的强化学习算法(DQN、PPO 等)只接受标量奖励。MO-Gymnasium 提供 LinearReward wrapper,将奖励向量与权重向量做点积,一行代码完成加权标量化(实现见 wrappers.py):

import numpy as np
import mo_gymnasium as mo_gym

env = mo_gym.wrappers.LinearReward(
    mo_gym.make("minecart-v0"),
    weight=np.array([0.8, 0.2, 0.2])  # 侧重矿石1,兼顾矿石2与燃料
)

obs, info = env.reset(seed=42)
terminated = truncated = False
while not (terminated or truncated):
    obs, scalar_reward, terminated, truncated, info = env.step(env.action_space.sample())

print(info["vector_reward"])   # 原始向量奖励仍保留在 info 中
print(info["reward_weights"]) # 当前使用的权重

调整 weight 就能改变策略的偏好——这正是多目标方法的魅力:标量化只是最朴素的一种权衡方式,Pareto 覆盖集等更高级的目标也都可以建立在这套 API 之上。

Minecart 常用配置参数速查

参数 说明 默认值
render_mode "human" 弹窗渲染;"rgb_array" 返回图像数组 None
image_observation 观测改为 480×480 的 RGB 图像 False
frame_skip 每个动作重复执行的次数,越大速度越快 4
config 自定义矿点布局的 JSON 文件路径 内置 mine_config.json

此外还有两个开箱即用的变体:

  • minecart-rgb-v0:图像观测版本,适合调试视觉智能体
  • minecart-deterministic-v0:使用固定分布的确定性矿点(mine_config_det.json),更适合严谨的对比实验

下一步:探索 MO-Gymnasium 的更多环境

跑通 Minecart 后,你可以把同样的代码模板套用到库中的其他环境。MO-Gymnasium 还提供 MuJoCo 系列的多目标版本,例如 mo-halfcheetah-v0、mo-ant-v0、mo-hopper-v0,让"运动效率 vs 能耗"这类权衡成为新的训练目标:

MO-Gymnasium MuJoCo HalfCheetah 多目标强化学习环境渲染动画

推荐的学习路径:

  1. 完整演示 Notebook:mo_gymnasium_demo.ipynb,展示了从创建环境、抽取空间、录制视频,到用 Stable-Baselines3 + LinearReward 训练 DQN 的全流程
  2. 环境清单与说明:misc.md、mujoco.md、classical.md
  3. 自定义多目标环境:custom_env.md

总结

本教程带你完成了多目标强化学习的第一次实战:

  • ⚙️ 通过 pip install mo-gymnasium 一行命令完成安装
  • ⛏️ 在 minecart-v0 环境中查看了 7 维观测、6 个动作与 3 维向量奖励
  • 🚀 用 10 行代码跑通了第一个随机智能体,理解了稀疏矿石奖励与稠密燃料奖励
  • ⚖️ 用 LinearReward wrapper 将向量奖励标量化,随时通过调整权重改变目标偏好

从向量奖励到 Pareto 前沿,多目标强化学习的大门已经打开——换上任意训练算法,开始你的第一个 MORL 训练吧!

登录后查看全文
MO-Gymnasium