MO-Gymnasium 经典控制环境全解析:Mountain Car 与 Lunar Lander 如何被多目标化改造

原创2026-10-12 18:33:131,330 阅读

MO-Gymnasium 经典控制环境全解析:Mountain Car 与 Lunar Lander 如何被多目标化改造

MO-Gymnasium 是一个专为多目标强化学习(MORL, Multi-Objective Reinforcement Learning)打造的环境库:它保留了 Gymnasium 标准 API 的简洁用法,但每个环境不再返回单一的标量奖励,而是返回一个奖励向量,让算法可以同时权衡多个相互冲突的目标。

本文选取两个最经典的控制环境——Mountain Car(小车爬坡) 和 Lunar Lander(月球着陆器),深入剖析 MO-Gymnasium 是如何把它们从"单目标"改造成"多目标"的。读完你会明白:多目标化并不复杂,核心就是把原本揉成一团的目标拆开,各自单独计账。

为什么经典环境需要"多目标化"?

传统强化学习中,环境的奖励是一个数字,比如"每走一步扣 1 分,撞机扣 100 分"。但现实世界里,目标往往是多个且冲突的:

  • 🚗 小车爬坡:希望尽快到达山顶(省时间),同时又不希望频繁倒车或猛踩油门(省能耗);
  • 🚀 月球着陆:希望安全着陆,还要省燃料——主引擎和侧引擎的开销甚至应该分开算账。

单目标奖励只能把这些目标人工加权和成一个数,而加权和的权重怎么取、会不会掩盖某个目标,往往无从得知。多目标化的做法是:把奖励向量原封不动地交给算法,由多目标强化学习算法去探索 Pareto 前沿(各目标的权衡集合),而不是替它预先做选择。

MO-Gymnasium 正是这样做的:环境负责"拆账",算法负责"权衡"。

环境全景:一个类撑起 5 个环境 ID

Mountain Car 系列在 MO-Gymnasium 中注册了 5 个环境,全部指向同一个环境类 MOMountainCar,仅靠构造参数区分(注册代码见 mo_gymnasium/envs/mountain_car/init.py):

环境 ID 动作空间 奖励向量(3 个目标)
mo-mountaincar-v0 离散 [时间惩罚, 倒车惩罚, 前进惩罚]
mo-mountaincar-3d-v0 离散 [时间惩罚, 移动惩罚, 速度奖励]
mo-mountaincar-timemove-v0 离散 [时间惩罚, 移动惩罚]
mo-mountaincar-timespeed-v0 离散 [时间惩罚, 速度奖励]
mo-mountaincarcontinuous-v0 连续 [时间惩罚, 燃油消耗惩罚]

下面是离散动作版 Mountain Car 的运行画面:小车在山谷底部来回摆动,靠惯性一次次冲上更高的位置,最终抵达插着旗帜的山顶:

MO-Gymnasium 多目标 Mountain Car 强化学习环境中,小车在山谷间摆动爬坡

Mountain Car 的多目标改造:从 1 个奖励到 3 个目标

原始 Gymnasium 的 Mountain Car 每步只给 -1 奖励(到达目标变 0),目标只有一个:步数最少。MO-Gymnasium 的改造思路是:把"走得多快"和"怎么走的"分开计账。

在源码 mo_gymnasium/envs/mountain_car/mountain_car.py 中,step 方法返回的是一个 3 维向量:

  • 目标 0 · 时间惩罚:未到达山顶时每步 -1.0,到达后为 0——对应"尽快登顶";
  • 目标 1 · 倒车惩罚:动作为"倒车"时扣 -1.0;
  • 目标 2 · 前进惩罚:动作为"前进"时扣 -1.0。

这样"耗时"和"动作代价"就变成两条独立的曲线,算法可以同时回答两个问题:多快能到?路上付出了多少动作代价? 这正对应多目标强化学习经典文献中的实验设定(Vamplew et al. 2011)。

三种参数开关,灵活组合目标维度

MOMountainCar 的构造函数提供 3 个布尔开关(见 mo_gymnasium/envs/mountain_car/mountain_car.py),通过不同组合派生出上表中的各个变体:

开关参数 作用
add_speed_objective 追加 1 个速度奖励目标:`15 ×
remove_move_penalty 去掉倒车、前进两个惩罚目标,只留时间惩罚
merge_move_penalty 把倒车/前进两个惩罚合并为 1 个"移动惩罚"

以 mo-mountaincar-3d-v0 为例,它同时开启了 merge_move_penalty 和 add_speed_objective,奖励向量变为 [时间惩罚, 移动惩罚, 速度奖励]。这里的速度奖励有个精妙之处:防止智能体收敛到"原地不动"的局部最优——因为如果静止时奖励信号为零,单目标算法可能躺平不学;加入速度目标后,"动得快"本身就有正收益,逼着智能体真正去开车。

连续动作版:Mountain Car 的"油耗"目标

mo-mountaincarcontinuous-v0 基于连续动作空间的 Mountain Car,奖励向量是 2 维的(源码见 mo_gymnasium/envs/continuous_mountain_car/continuous_mountain_car.py):

  • 目标 0 · 时间惩罚:未登顶时每步 -1.0;
  • 目标 1 · 燃油消耗惩罚:-‖action‖²,油门踩得越猛,扣分越多。

注意这里的"油"就是油门平方:它把"动力消耗"量化成了可优化的目标,算法会自行在"猛踩油门快点到"和"温柔加油省油"之间找平衡点。

MO-Gymnasium 连续动作版多目标 Mountain Car 强化学习环境,小车油门可控地爬坡

Lunar Lander 的多目标改造:4 个目标各司其职

MOLunarLander 继承自 Gymnasium 的 LunarLander,把"着陆成败 + 引导奖励 + 燃料开销"拆成了 4 维奖励向量(见 mo_gymnasium/envs/lunar_lander/lunar_lander.py):

维度 含义 取值
0 结果奖励 坠毁 -100,安全着陆 +100
1 塑造奖励(shaping) 与当前位置/速度/姿态/支腿触地的偏差相关
2 主引擎燃料消耗 0 到 -1(推力功率)
3 侧引擎燃料消耗 0 到 -1(推力功率)

在 step 的末尾(源码),vector_reward 按上表逐维填充:坠毁或飞出视野时目标 0 记 -100;着陆器"睡去"(静止落地)时记 +100。而主、侧引擎的燃料被分开记账,这是相比单目标版本最有价值的信息——算法能回答"这次着陆主要靠主引擎硬刹,还是侧引擎调姿烧得多"。

连续/离散两种动作空间分别注册为 mo-lunar-lander-v3 与 mo-lunar-lander-continuous-v3(见 mo_gymnasium/envs/lunar_lander/init.py)。下面是离散动作版的运行画面:着陆器在两面旗帜之间缓缓降落:

MO-Gymnasium 多目标 Lunar Lander 月球着陆器强化学习环境,着陆器悬停在旗帜上方缓慢下降

着陆成功的瞬间,支腿触地、发动机喷焰熄灭,4 个目标中"结果奖励"记为 +100,燃料消耗则如实记录在整个下降过程中:

MO-Gymnasium 多目标 Lunar Lander 着陆器安全着陆在地面旗帜之间的截图

连续动作版则允许用 0~1 的推力档位精细控制引擎,同样是 4 维奖励向量:

MO-Gymnasium 连续动作版多目标 Lunar Lander 月球着陆器强化学习环境,着陆器精准对准旗帜区域

如何使用奖励向量:标量化只是可选步骤

拿到 3 维或 4 维的奖励向量后,你有两种用法:

  1. 原样交给多目标算法(推荐):MORL-Baselines 等算法库直接消费向量奖励,输出 Pareto 前沿上的策略集合;
  2. 加权标量化:MO-Gymnasium 内置了 LinearReward 包装器(源码见 mo_gymnasium/wrappers/wrappers.py),把奖励向量与权重向量做点积,还原成标量奖励,供传统单目标算法使用。

安装与调用的最小示例:

pip install mo-gymnasium
import numpy as np
import mo_gymnasium as mo_gym

env = mo_gym.make("mo-mountaincar-v0")
obs, info = env.reset()
obs, reward, terminated, truncated, info = env.step(0)
print(reward)  # array([-1., -1.,  0.])  <- 3 维奖励向量!

# 可选:用 LinearReward 加权标量化
env = mo_gym.wrappers.LinearReward(env, weight=np.array([0.8, 0.1, 0.1]))

更完整的玩法可以参考仓库根目录的演示 notebook mo_gymnasium_demo.ipynb。

小结:多目标化的通用套路

回顾 Mountain Car 和 Lunar Lander 的改造,可以提炼出一个通用模式:

  1. 继承原环境:复用 Gymnasium 的物理与状态逻辑,只重写奖励部分;
  2. 拆账:把"成败、耗时、能耗、动作代价"等目标各自独立计为一个分量;
  3. 参数化组合:用几个布尔/数值开关生成不同目标维度的变体,并注册为不同环境 ID;
  4. 声明 reward_space:让算法端明确知道奖励向量的形状与取值范围。

所有环境的完整清单与目标说明,可查看官方文档 docs/environments/classical.md。掌握了这个套路,你就可以按同样方式把任何 Gymnasium 经典环境"多目标化",纳入 MO-Gymnasium 的标准 API 体系中了。

登录后查看全文
MO-Gymnasium