MO-Gymnasium 经典控制环境全解析:Mountain Car 与 Lunar Lander 如何被多目标化改造
MO-Gymnasium 经典控制环境全解析:Mountain Car 与 Lunar Lander 如何被多目标化改造
MO-Gymnasium 是一个专为多目标强化学习(MORL, Multi-Objective Reinforcement Learning)打造的环境库:它保留了 Gymnasium 标准 API 的简洁用法,但每个环境不再返回单一的标量奖励,而是返回一个奖励向量,让算法可以同时权衡多个相互冲突的目标。
本文选取两个最经典的控制环境——Mountain Car(小车爬坡) 和 Lunar Lander(月球着陆器),深入剖析 MO-Gymnasium 是如何把它们从"单目标"改造成"多目标"的。读完你会明白:多目标化并不复杂,核心就是把原本揉成一团的目标拆开,各自单独计账。
为什么经典环境需要"多目标化"?
传统强化学习中,环境的奖励是一个数字,比如"每走一步扣 1 分,撞机扣 100 分"。但现实世界里,目标往往是多个且冲突的:
- 🚗 小车爬坡:希望尽快到达山顶(省时间),同时又不希望频繁倒车或猛踩油门(省能耗);
- 🚀 月球着陆:希望安全着陆,还要省燃料——主引擎和侧引擎的开销甚至应该分开算账。
单目标奖励只能把这些目标人工加权和成一个数,而加权和的权重怎么取、会不会掩盖某个目标,往往无从得知。多目标化的做法是:把奖励向量原封不动地交给算法,由多目标强化学习算法去探索 Pareto 前沿(各目标的权衡集合),而不是替它预先做选择。
MO-Gymnasium 正是这样做的:环境负责"拆账",算法负责"权衡"。
环境全景:一个类撑起 5 个环境 ID
Mountain Car 系列在 MO-Gymnasium 中注册了 5 个环境,全部指向同一个环境类 MOMountainCar,仅靠构造参数区分(注册代码见 mo_gymnasium/envs/mountain_car/init.py):
| 环境 ID | 动作空间 | 奖励向量(3 个目标) |
|---|---|---|
mo-mountaincar-v0 |
离散 | [时间惩罚, 倒车惩罚, 前进惩罚] |
mo-mountaincar-3d-v0 |
离散 | [时间惩罚, 移动惩罚, 速度奖励] |
mo-mountaincar-timemove-v0 |
离散 | [时间惩罚, 移动惩罚] |
mo-mountaincar-timespeed-v0 |
离散 | [时间惩罚, 速度奖励] |
mo-mountaincarcontinuous-v0 |
连续 | [时间惩罚, 燃油消耗惩罚] |
下面是离散动作版 Mountain Car 的运行画面:小车在山谷底部来回摆动,靠惯性一次次冲上更高的位置,最终抵达插着旗帜的山顶:
Mountain Car 的多目标改造:从 1 个奖励到 3 个目标
原始 Gymnasium 的 Mountain Car 每步只给 -1 奖励(到达目标变 0),目标只有一个:步数最少。MO-Gymnasium 的改造思路是:把"走得多快"和"怎么走的"分开计账。
在源码 mo_gymnasium/envs/mountain_car/mountain_car.py 中,step 方法返回的是一个 3 维向量:
- 目标 0 · 时间惩罚:未到达山顶时每步
-1.0,到达后为0——对应"尽快登顶"; - 目标 1 · 倒车惩罚:动作为"倒车"时扣
-1.0; - 目标 2 · 前进惩罚:动作为"前进"时扣
-1.0。
这样"耗时"和"动作代价"就变成两条独立的曲线,算法可以同时回答两个问题:多快能到?路上付出了多少动作代价? 这正对应多目标强化学习经典文献中的实验设定(Vamplew et al. 2011)。
三种参数开关,灵活组合目标维度
MOMountainCar 的构造函数提供 3 个布尔开关(见 mo_gymnasium/envs/mountain_car/mountain_car.py),通过不同组合派生出上表中的各个变体:
| 开关参数 | 作用 |
|---|---|
add_speed_objective |
追加 1 个速度奖励目标:`15 × |
remove_move_penalty |
去掉倒车、前进两个惩罚目标,只留时间惩罚 |
merge_move_penalty |
把倒车/前进两个惩罚合并为 1 个"移动惩罚" |
以 mo-mountaincar-3d-v0 为例,它同时开启了 merge_move_penalty 和 add_speed_objective,奖励向量变为 [时间惩罚, 移动惩罚, 速度奖励]。这里的速度奖励有个精妙之处:防止智能体收敛到"原地不动"的局部最优——因为如果静止时奖励信号为零,单目标算法可能躺平不学;加入速度目标后,"动得快"本身就有正收益,逼着智能体真正去开车。
连续动作版:Mountain Car 的"油耗"目标
mo-mountaincarcontinuous-v0 基于连续动作空间的 Mountain Car,奖励向量是 2 维的(源码见 mo_gymnasium/envs/continuous_mountain_car/continuous_mountain_car.py):
- 目标 0 · 时间惩罚:未登顶时每步
-1.0; - 目标 1 · 燃油消耗惩罚:
-‖action‖²,油门踩得越猛,扣分越多。
注意这里的"油"就是油门平方:它把"动力消耗"量化成了可优化的目标,算法会自行在"猛踩油门快点到"和"温柔加油省油"之间找平衡点。
Lunar Lander 的多目标改造:4 个目标各司其职
MOLunarLander 继承自 Gymnasium 的 LunarLander,把"着陆成败 + 引导奖励 + 燃料开销"拆成了 4 维奖励向量(见 mo_gymnasium/envs/lunar_lander/lunar_lander.py):
| 维度 | 含义 | 取值 |
|---|---|---|
| 0 | 结果奖励 | 坠毁 -100,安全着陆 +100 |
| 1 | 塑造奖励(shaping) | 与当前位置/速度/姿态/支腿触地的偏差相关 |
| 2 | 主引擎燃料消耗 | 0 到 -1(推力功率) |
| 3 | 侧引擎燃料消耗 | 0 到 -1(推力功率) |
在 step 的末尾(源码),vector_reward 按上表逐维填充:坠毁或飞出视野时目标 0 记 -100;着陆器"睡去"(静止落地)时记 +100。而主、侧引擎的燃料被分开记账,这是相比单目标版本最有价值的信息——算法能回答"这次着陆主要靠主引擎硬刹,还是侧引擎调姿烧得多"。
连续/离散两种动作空间分别注册为 mo-lunar-lander-v3 与 mo-lunar-lander-continuous-v3(见 mo_gymnasium/envs/lunar_lander/init.py)。下面是离散动作版的运行画面:着陆器在两面旗帜之间缓缓降落:
着陆成功的瞬间,支腿触地、发动机喷焰熄灭,4 个目标中"结果奖励"记为 +100,燃料消耗则如实记录在整个下降过程中:
连续动作版则允许用 0~1 的推力档位精细控制引擎,同样是 4 维奖励向量:
如何使用奖励向量:标量化只是可选步骤
拿到 3 维或 4 维的奖励向量后,你有两种用法:
- 原样交给多目标算法(推荐):MORL-Baselines 等算法库直接消费向量奖励,输出 Pareto 前沿上的策略集合;
- 加权标量化:MO-Gymnasium 内置了
LinearReward包装器(源码见 mo_gymnasium/wrappers/wrappers.py),把奖励向量与权重向量做点积,还原成标量奖励,供传统单目标算法使用。
安装与调用的最小示例:
pip install mo-gymnasium
import numpy as np
import mo_gymnasium as mo_gym
env = mo_gym.make("mo-mountaincar-v0")
obs, info = env.reset()
obs, reward, terminated, truncated, info = env.step(0)
print(reward) # array([-1., -1., 0.]) <- 3 维奖励向量!
# 可选:用 LinearReward 加权标量化
env = mo_gym.wrappers.LinearReward(env, weight=np.array([0.8, 0.1, 0.1]))
更完整的玩法可以参考仓库根目录的演示 notebook mo_gymnasium_demo.ipynb。
小结:多目标化的通用套路
回顾 Mountain Car 和 Lunar Lander 的改造,可以提炼出一个通用模式:
- 继承原环境:复用 Gymnasium 的物理与状态逻辑,只重写奖励部分;
- 拆账:把"成败、耗时、能耗、动作代价"等目标各自独立计为一个分量;
- 参数化组合:用几个布尔/数值开关生成不同目标维度的变体,并注册为不同环境 ID;
- 声明 reward_space:让算法端明确知道奖励向量的形状与取值范围。
所有环境的完整清单与目标说明,可查看官方文档 docs/environments/classical.md。掌握了这个套路,你就可以按同样方式把任何 Gymnasium 经典环境"多目标化",纳入 MO-Gymnasium 的标准 API 体系中了。




