unitree_rl_mjlab 训练不收敛?PPO 超参数与 Actor-Critic 观测组配置逐项调优指南
unitree_rl_mjlab 训练不收敛?PPO 超参数与 Actor-Critic 观测组配置逐项调优指南
如果你正在用 unitree_rl_mjlab 训练 Unitree 机器人(Go2、G1、H1_2 等)的强化学习策略,却遇到奖励曲线不涨、机器人频繁摔倒的"训练不收敛"问题,本文带你逐项检查 PPO 超参数与 Actor-Critic 观测组配置。unitree_rl_mjlab 是基于 MuJoCo 物理引擎和 mjlab 框架的 Unitree 机器人强化学习项目,采用 PPO 算法训练速度跟踪与动作模仿策略,所有超参数都集中在每个任务的 rl_cfg.py 中,调整起来非常直观。
一、先复现问题:训练与验证的基本命令
调优的前提是能稳定复现"不收敛"。训练入口是 scripts/train.py,以 G1 平地任务为例:
python scripts/train.py Unitree-G1-Flat --env.scene.num-envs=4096
训练日志与模型保存在 logs/rsl_rl/<robot>_(velocity|tracking)/<date_time>/model_<iteration>.pt,同时每轮会导出 policy.onnx 用于实机部署。调参前建议先确认三点:
num-envs是否足够:并行环境太少(如 256)会让 PPO 每个 iteration 采样数据不足,方差极大,曲线剧烈抖动。推荐 2048~4096。- 是否复现:加上
--agent.seed固定随机种子,排除偶发性。 - 损失曲线形态:若
loss恒为 NaN,先开启--enable-nan-guard定位数值问题,而不是调 PPO 参数。
验证训练产物是否可用:
python scripts/play.py Unitree-G1-Flat --checkpoint_file=logs/rsl_rl/g1_velocity/<时间戳>/model_xx.pt
scripts/play.py 支持 --agent zero 和 --agent random 两种"假智能体"模式,可用来快速确认观测和奖励管道本身没有写错——如果 random 模式下奖励全为负且机器人立刻摔,大概率是环境配置问题而非 PPO 问题。
二、PPO 超参数逐项调优
每个机器人的 PPO 超参数都在各自的 rl_cfg.py 中定义。以 src/tasks/velocity/config/g1/rl_cfg.py 为例,核心配置如下:
algorithm=RslRlPpoAlgorithmCfg(
value_loss_coef=1.0,
use_clipped_value_loss=True,
clip_param=0.2,
entropy_coef=0.01,
num_learning_epochs=5,
num_mini_batches=4,
learning_rate=1.0e-3,
schedule="adaptive",
gamma=0.99,
lam=0.95,
desired_kl=0.01,
max_grad_norm=1.0,
)
2.1 学习率:learning_rate、schedule 与 desired_kl 三者联动
这是最常见的调优起点,三个参数要放在一起看:
| 参数 | 默认值 | 作用与调法 |
|---|---|---|
learning_rate |
1.0e-3 |
基础学习率。收敛太慢可升到 3e-3;早期就发散则降到 3e-4 |
schedule |
adaptive |
自适应调度:根据实测 KL 与 desired_kl 的偏差自动伸缩学习率 |
desired_kl |
0.01 |
目标 KL 散度。KL 长期远低于它说明更新太保守,可适当调大;KL 频繁爆表则调小 |
adaptive 调度是 rsl_rl 的招牌设计:你其实不需要手动调学习率,优先微调 desired_kl 即可——它相当于给自适应机制设定"油门档位"。
💡 经验:前 500 轮 reward 完全不动时,先检查
num-envs和观测归一化,再考虑把学习率翻倍。
2.2 策略稳定性:clip_param、entropy_coef 与动作分布
| 参数 | 默认值 | 作用与调法 |
|---|---|---|
clip_param |
0.2 |
PPO 策略更新裁剪范围。机器人学走路易振荡时可缩小到 0.1,限制单次更新幅度 |
entropy_coef |
速度任务 0.01,跟踪任务 0.005 |
鼓励探索的正则项。策略过早"收敛"到某个固定步态、学不出多样性时,适当调大(如 0.02) |
init_std |
1.0 |
高斯动作分布初始标准差,定义在 actor 模型配置 中。太大则动作抖动剧烈,太小则探索不足 |
max_grad_norm |
1.0 |
梯度裁剪,保持默认即可 |
速度任务与模仿任务(src/tasks/tracking/config/g1/rl_cfg.py)唯一的差异就是 entropy_coef(0.01 vs 0.005):模仿任务动作空间目标更明确,过大的探索会破坏动作连贯性,因此熵项减半。这是"按任务性质调熵"的直观范例。
2.3 采样与更新节奏:num_steps_per_env、num_mini_batches、num_learning_epochs
| 参数 | 默认值 | 含义 |
|---|---|---|
num_steps_per_env |
24 |
每个并行环境每次采集 24 步(约 0.48 秒,仿真步长 0.005s × decimation 4) |
num_learning_epochs |
5 |
每批数据反复训练 5 轮,提高数据利用效率 |
num_mini_batches |
4 |
每批数据切成 4 个 minibatch 做 SGD |
三者共同决定每个 iteration 的总步数与 batch 粒度。num_steps_per_env=24 与 gamma=0.99 配合意味着折扣回报的"有效视野"约 100 步,对走路任务足够。除非遇到显存或速度瓶颈,这三个参数一般无需改动。
2.4 回报估计:gamma 与 lam
gamma=0.99:长视野任务的标准取值。若机器人"走两步就忘"、不提前为下一个动作做准备,说明有效视野不够,但通常先怀疑观测,而不是动gamma。lam=0.95:GAE 的 lambda,权衡策略梯度的偏差与方差,保持默认0.95即可。value_loss_coef=1.0/use_clipped_value_loss=True:Critic 损失权重与裁剪开关,critic 损失远大于 policy 损失时可适当压低value_loss_coef。
三、Actor-Critic 观测组配置逐项检查
单位:调 PPO 参数前,先检查观测——观测组配置错误才是"不收敛"的首要元凶。速度任务的观测组定义在 src/tasks/velocity/velocity_env_cfg.py,结构如下:
3.1 Actor 组:机器人"真实世界"能看到的
actor 组的每一项都带噪声(noise=Unoise(...)),例如 joint_vel 加 ±1.5 的均匀噪声、base_ang_vel 加 ±0.2:
| 观测项 | 来源 | 噪声 |
|---|---|---|
base_ang_vel |
IMU 角速度 | ±0.2 |
projected_gravity |
投影重力向量 | ±0.05 |
command |
期望速度指令(twist) | 无 |
phase |
步态相位(周期 0.6s) | 无 |
joint_pos / joint_vel |
相对默认关节角/角速度 | ±0.01 / ±1.5 |
actions |
上一步动作 | 无 |
height_scan |
地形高度扫描 | ±0.1 |
检查要点:
enable_corruption=True:训练时对 actor 观测做域随机化,是 sim-to-real 的关键。play 模式下会被自动关闭(见 unitree_g1_rough_env_cfg),若你手动改过此处,务必确认训练开、推理关。- 平地任务要删掉
height_scan:unitree_g1_flat_env_cfg 中明确删除了 actor/critic 两组的height_scan项——平地没有地形可扫描,保留它只会引入噪声维度。 - 噪声大小应与实机传感器对齐:
joint_vel的 ±1.5 明显大于joint_pos的 ±0.01,因为真实编码器速度的噪声远大于位置。
3.2 Critic 组:训练时"上帝视角"
critic 组默认是 actor 组的超集(**actor_terms 展开),再追加 base_lin_vel、foot_height、foot_air_time、foot_contact、foot_contact_forces 等 地面接触与线速度信息,且 enable_corruption=False——critic 可以看到无噪声真值,只为提供更准确的价值估计。
这是 Actor-Critic 架构的标准玩法:actor 必须只用可部署的观测,而 critic 可以"开挂"。常见错误是把 IMU 线速度(仿真免费、实机需估计)加进 actor 组,训练时效果拔群,部署后立刻失效。模仿任务中这一点体现得更明显:unitree_g1_flat_tracking_env_cfg 在 has_state_estimation=False 时会主动从 actor 组剔除 motion_anchor_pos_b 和 base_lin_vel。
3.3 网络结构与观测归一化
actor 与 critic 的网络配置 统一为 hidden_dims=(512, 256, 128)、activation="elu"、obs_normalization=True:
obs_normalization=True强烈建议保持开启:观测量纲不一(角度是 rad、速度是 m/s、相位是 0~1)时,未归一化的观测会让 critic 拟合困难,是"critic loss 爆炸"的常见原因。hidden_dims:三层 512/256/128 对这个规模的输入已够用;若观测维度很大(如 23DOF 的 G1 加了大量 body 状态),可加宽到(768, 512, 256)试试。- 动作分布固定为
GaussianDistribution+scalar标准差,即所有动作维度共享一个 std,调探索强度就改init_std。
四、PPO 之外的收敛杀手:奖励、课程与终止条件
如果 PPO 参数和观测都正常仍不收敛,按以下清单排查(对应 velocity_env_cfg.py):
- 终止条件过严:
fell_over阈值是躯干倾角 70°,配合is_terminated奖励项-200.0,机器人早期频繁摔倒会让奖励信号被终止惩罚淹没。可先用 scripts/play.py 的--no-terminations模式观察纯跟踪能力。 - 课程学习(curriculum)是否生效:速度课程从
lin_vel_x ∈ (-0.5, 1.0)起步,在 commands_vel 中于第5000*24步后放宽到(-1.0, 2.0);地形难度则由 terrain_levels_vel 按行走距离升降级。若你复用了配置却手动调大了初始速度范围,课程等于被跳过。 - 奖励权重失衡:速度跟踪主奖励
track_linear_velocity/track_angular_velocity权重为 1.0,而is_terminated为 -200、joint_pos_limits为 -10——正负奖励量级差两个数量级时,策略会"躺平"保命。调权重时保持同一量级。 - 随机化干扰:
push_robot(每 5~6 秒随机推)、foot_friction(摩擦 0.3~1.6)、encoder_bias都在 events 中。调试阶段可临时关掉push_robot确认信号链路正常,收敛后再打开。
五、调优速查表
| 症状 | 优先检查 |
|---|---|
| reward 恒为负、机器人一直摔 | 观测归一化、num-envs 是否太小、终止条件是否过严 |
| 前期快速上涨后平台期 | entropy_coef 太小、desired_kl 偏保守、动作 init_std 太小 |
| 曲线剧烈震荡、KL 爆表 | clip_param 缩到 0.1、desired_kl 调小、learning_rate 减半 |
| 收敛但步态怪异/单一 | 增大 entropy_coef 与 init_std,检查 pose 奖励的 std_walking 是否过紧 |
| 仿真能走、实机不行 | actor 组混入了不可部署观测(critic 专有项)、噪声/corruption 配置 |
| loss 出现 NaN | 开 --enable-nan-guard,检查奖励函数是否除零、观测是否含 inf |
六、总结
unitree_rl_mjlab 的调优路径非常清晰:先保观测正确,再动 PPO 参数。具体顺序建议是:
- 用
play.py --agent random验证观测/奖励管道; - 确认
obs_normalization、num-envs、actor/critic 观测边界; - 微调
desired_kl与entropy_coef,观察 KL 与 loss 曲线; - 最后才考虑奖励权重与课程阶段(velocity 课程实现、跟踪任务环境配置)。
每个任务的实际生效参数会在训练时 dump 到 logs/rsl_rl/.../params/ 下的 env.yaml 和 agent.yaml,改配置后核对这两个文件,能帮你快速确认"命令行覆盖是否真的生效"。调参是门手艺活,但有了逐项检查的清单,收敛问题大多能在半天内定位。
更多安装与配置细节见 doc/setup_zh.md。



