如何写你的第一个多目标强化学习程序:MO-Gymnasium Minecart 环境完整实战教程
如何写你的第一个多目标强化学习程序:MO-Gymnasium Minecart 环境完整实战教程
MO-Gymnasium 是一个开源的 Python 多目标强化学习(MORL)环境库,它沿用 Gymnasium 的标准 API,但 step 返回的是 numpy 数组形式的向量奖励。本教程以 Minecart(矿井矿车)环境为主线,带你从零写出第一个多目标强化学习交互程序:创建环境、查看空间、运行随机智能体,并用 LinearReward 把多目标奖励标量化为单目标。无需任何强化学习基础,跟着做即可跑通。
为什么用 MO-Gymnasium 入门多目标强化学习
在真实场景中,智能体往往要同时兼顾多个目标——例如既要多采矿石、又要省燃料。传统的单标量奖励无法表达这种权衡,而多目标强化学习(Multi-Objective Reinforcement Learning)正是为此而生。
MO-Gymnasium 的价值在于:
- 标准 API:与 Gymnasium 完全兼容,
reset/step用法不变,只是奖励从标量变成了向量 - 经典 MORL 基准环境:涵盖文献中常用的 Minecart、Deep Sea Treasure、Fishwood 等环境,以及 MuJoCo 系列的多目标版本
- 开箱即用的多目标工具:
LinearReward标量化、MONormalizeReward归一化等 wrapper,直接集成到你的训练流程
最快安装 MO-Gymnasium 的步骤
只需一条 pip 命令即可安装核心包:
pip install mo-gymnasium
💡 若还想使用 MuJoCo 等全部环境族,可执行
pip install "mo-gymnasium<a href="https://link.gitcode.com/i/56021ebd5eca551032b20d7a20e45eb3" target="_blank">all]"安装所有依赖。安装细节参见 [install.md。
认识 Minecart 环境:采矿石、省燃料的三目标挑战
Minecart 是多目标强化学习领域的经典基准(源自 Abels et al. 2019)。任务设定非常直观:
- 地图左上角的红色区域是基地,矿车从基地出发,驶向地图上随机分布的 5 个矿点
- 每次执行采矿动作会从最近的矿点采获 两种矿石,采获量服从矿点自身的正态分布
- 矿石装满后必须返回基地"出售",基地售出矿石时才会产生矿石奖励
- 整个行程的每一步都在消耗燃料(加速、采矿动作耗油更多)
因此它天然拥有 3 个奖励维度,正好演示多目标之间的权衡:多采矿石 ⟷ 少耗燃料。
| 空间 | 维度 | 内容 |
|---|---|---|
| 观测空间 | 7 维向量 | 矿车 2D 位置、速度、朝向 sin/cos、两种矿石的装载比例 |
| 动作空间 | 6 个离散动作 | Mine(采矿)、Left、Right、Accelerate、Brake、None |
| 奖励空间 | 3 维向量 | [矿石1 售出量, 矿石2 售出量, 燃料消耗],前两者稀疏、燃料为稠密负奖励 |
几个实用要点:
- 每个 episode 上限 1000 步(超出后
truncated=True),矿车返回基地则terminated=True - 环境注册在 init.py,环境实现见 minecart.py
- 矿点布局与矿石分布由 mine_config.json 定义,你可以传入自定义
config文件复现实验
第一步:创建 Minecart 环境并查看空间
MO-Gymnasium 自带一个增强版 make(utils.py),默认关闭环境检查器,因为多目标奖励是向量而非标量:
import mo_gymnasium as mo_gym
env = mo_gym.make("minecart-v0")
obs, info = env.reset(seed=42)
print("观测空间:", env.observation_space)
print("动作空间:", env.action_space)
print("奖励空间:", env.reward_space)
与 Gymnasium 相比,唯一的新面孔就是 reward_space——它告诉我们奖励是一个 3 维 Box。
第二步:运行你的第一个多目标随机智能体
下面用随机动作跑完一个完整 episode。注意 step 返回的 vector_reward 是一个 numpy 数组:
import mo_gymnasium as mo_gym
env = mo_gym.make("minecart-v0")
obs, info = env.reset(seed=42)
terminated = truncated = False
while not (terminated or truncated):
obs, vector_reward, terminated, truncated, info = env.step(env.action_space.sample())
if vector_reward.any():
print(vector_reward) # 例如 [0.05 0.0 -0.02]
env.close()
运行中你会看到两种类型的奖励向量:
- 行驶 / 采矿步:只有第三维(燃料)为负值
- 矿石售出的那一步:前两个维度出现正值——这就是稀疏奖励的典型形态
想直观看到矿车怎么跑?把 render_mode="human" 传给 make 即可弹出窗口渲染。
第三步:用 LinearReward 把向量奖励标量化
大多数现成的强化学习算法(DQN、PPO 等)只接受标量奖励。MO-Gymnasium 提供 LinearReward wrapper,将奖励向量与权重向量做点积,一行代码完成加权标量化(实现见 wrappers.py):
import numpy as np
import mo_gymnasium as mo_gym
env = mo_gym.wrappers.LinearReward(
mo_gym.make("minecart-v0"),
weight=np.array([0.8, 0.2, 0.2]) # 侧重矿石1,兼顾矿石2与燃料
)
obs, info = env.reset(seed=42)
terminated = truncated = False
while not (terminated or truncated):
obs, scalar_reward, terminated, truncated, info = env.step(env.action_space.sample())
print(info["vector_reward"]) # 原始向量奖励仍保留在 info 中
print(info["reward_weights"]) # 当前使用的权重
调整 weight 就能改变策略的偏好——这正是多目标方法的魅力:标量化只是最朴素的一种权衡方式,Pareto 覆盖集等更高级的目标也都可以建立在这套 API 之上。
Minecart 常用配置参数速查
| 参数 | 说明 | 默认值 |
|---|---|---|
render_mode |
"human" 弹窗渲染;"rgb_array" 返回图像数组 |
None |
image_observation |
观测改为 480×480 的 RGB 图像 | False |
frame_skip |
每个动作重复执行的次数,越大速度越快 | 4 |
config |
自定义矿点布局的 JSON 文件路径 | 内置 mine_config.json |
此外还有两个开箱即用的变体:
minecart-rgb-v0:图像观测版本,适合调试视觉智能体minecart-deterministic-v0:使用固定分布的确定性矿点(mine_config_det.json),更适合严谨的对比实验
下一步:探索 MO-Gymnasium 的更多环境
跑通 Minecart 后,你可以把同样的代码模板套用到库中的其他环境。MO-Gymnasium 还提供 MuJoCo 系列的多目标版本,例如 mo-halfcheetah-v0、mo-ant-v0、mo-hopper-v0,让"运动效率 vs 能耗"这类权衡成为新的训练目标:
推荐的学习路径:
- 完整演示 Notebook:mo_gymnasium_demo.ipynb,展示了从创建环境、抽取空间、录制视频,到用 Stable-Baselines3 +
LinearReward训练 DQN 的全流程 - 环境清单与说明:misc.md、mujoco.md、classical.md
- 自定义多目标环境:custom_env.md
总结
本教程带你完成了多目标强化学习的第一次实战:
- ⚙️ 通过
pip install mo-gymnasium一行命令完成安装 - ⛏️ 在
minecart-v0环境中查看了 7 维观测、6 个动作与 3 维向量奖励 - 🚀 用 10 行代码跑通了第一个随机智能体,理解了稀疏矿石奖励与稠密燃料奖励
- ⚖️ 用
LinearRewardwrapper 将向量奖励标量化,随时通过调整权重改变目标偏好
从向量奖励到 Pareto 前沿,多目标强化学习的大门已经打开——换上任意训练算法,开始你的第一个 MORL 训练吧!


