unitree_rl_mjlab 训练不收敛?PPO 超参数与 Actor-Critic 观测组配置逐项调优指南

原创2026-11-05 15:10:021,936 阅读

unitree_rl_mjlab 训练不收敛?PPO 超参数与 Actor-Critic 观测组配置逐项调优指南

如果你正在用 unitree_rl_mjlab 训练 Unitree 机器人(Go2、G1、H1_2 等)的强化学习策略,却遇到奖励曲线不涨、机器人频繁摔倒的"训练不收敛"问题,本文带你逐项检查 PPO 超参数与 Actor-Critic 观测组配置。unitree_rl_mjlab 是基于 MuJoCo 物理引擎和 mjlab 框架的 Unitree 机器人强化学习项目,采用 PPO 算法训练速度跟踪与动作模仿策略,所有超参数都集中在每个任务的 rl_cfg.py 中,调整起来非常直观。

unitree_rl_mjlab 中 G1 速度跟踪训练仿真效果

一、先复现问题:训练与验证的基本命令

调优的前提是能稳定复现"不收敛"。训练入口是 scripts/train.py,以 G1 平地任务为例:

python scripts/train.py Unitree-G1-Flat --env.scene.num-envs=4096

训练日志与模型保存在 logs/rsl_rl/<robot>_(velocity|tracking)/<date_time>/model_<iteration>.pt,同时每轮会导出 policy.onnx 用于实机部署。调参前建议先确认三点:

  • num-envs 是否足够:并行环境太少(如 256)会让 PPO 每个 iteration 采样数据不足,方差极大,曲线剧烈抖动。推荐 2048~4096。
  • 是否复现:加上 --agent.seed 固定随机种子,排除偶发性。
  • 损失曲线形态:若 loss 恒为 NaN,先开启 --enable-nan-guard 定位数值问题,而不是调 PPO 参数。

验证训练产物是否可用:

python scripts/play.py Unitree-G1-Flat --checkpoint_file=logs/rsl_rl/g1_velocity/<时间戳>/model_xx.pt

scripts/play.py 支持 --agent zero 和 --agent random 两种"假智能体"模式,可用来快速确认观测和奖励管道本身没有写错——如果 random 模式下奖励全为负且机器人立刻摔,大概率是环境配置问题而非 PPO 问题。

二、PPO 超参数逐项调优

每个机器人的 PPO 超参数都在各自的 rl_cfg.py 中定义。以 src/tasks/velocity/config/g1/rl_cfg.py 为例,核心配置如下:

algorithm=RslRlPpoAlgorithmCfg(
  value_loss_coef=1.0,
  use_clipped_value_loss=True,
  clip_param=0.2,
  entropy_coef=0.01,
  num_learning_epochs=5,
  num_mini_batches=4,
  learning_rate=1.0e-3,
  schedule="adaptive",
  gamma=0.99,
  lam=0.95,
  desired_kl=0.01,
  max_grad_norm=1.0,
)

2.1 学习率:learning_rate、schedule 与 desired_kl 三者联动

这是最常见的调优起点,三个参数要放在一起看:

参数 默认值 作用与调法
learning_rate 1.0e-3 基础学习率。收敛太慢可升到 3e-3;早期就发散则降到 3e-4
schedule adaptive 自适应调度:根据实测 KL 与 desired_kl 的偏差自动伸缩学习率
desired_kl 0.01 目标 KL 散度。KL 长期远低于它说明更新太保守,可适当调大;KL 频繁爆表则调小

adaptive 调度是 rsl_rl 的招牌设计:你其实不需要手动调学习率,优先微调 desired_kl 即可——它相当于给自适应机制设定"油门档位"。

💡 经验:前 500 轮 reward 完全不动时,先检查 num-envs 和观测归一化,再考虑把学习率翻倍。

2.2 策略稳定性:clip_param、entropy_coef 与动作分布

参数 默认值 作用与调法
clip_param 0.2 PPO 策略更新裁剪范围。机器人学走路易振荡时可缩小到 0.1,限制单次更新幅度
entropy_coef 速度任务 0.01,跟踪任务 0.005 鼓励探索的正则项。策略过早"收敛"到某个固定步态、学不出多样性时,适当调大(如 0.02)
init_std 1.0 高斯动作分布初始标准差,定义在 actor 模型配置 中。太大则动作抖动剧烈,太小则探索不足
max_grad_norm 1.0 梯度裁剪,保持默认即可

速度任务与模仿任务(src/tasks/tracking/config/g1/rl_cfg.py)唯一的差异就是 entropy_coef(0.01 vs 0.005):模仿任务动作空间目标更明确,过大的探索会破坏动作连贯性,因此熵项减半。这是"按任务性质调熵"的直观范例。

2.3 采样与更新节奏:num_steps_per_env、num_mini_batches、num_learning_epochs

参数 默认值 含义
num_steps_per_env 24 每个并行环境每次采集 24 步(约 0.48 秒,仿真步长 0.005s × decimation 4)
num_learning_epochs 5 每批数据反复训练 5 轮,提高数据利用效率
num_mini_batches 4 每批数据切成 4 个 minibatch 做 SGD

三者共同决定每个 iteration 的总步数与 batch 粒度。num_steps_per_env=24 与 gamma=0.99 配合意味着折扣回报的"有效视野"约 100 步,对走路任务足够。除非遇到显存或速度瓶颈,这三个参数一般无需改动。

2.4 回报估计:gamma 与 lam

  • gamma=0.99:长视野任务的标准取值。若机器人"走两步就忘"、不提前为下一个动作做准备,说明有效视野不够,但通常先怀疑观测,而不是动 gamma。
  • lam=0.95:GAE 的 lambda,权衡策略梯度的偏差与方差,保持默认 0.95 即可。
  • value_loss_coef=1.0 / use_clipped_value_loss=True:Critic 损失权重与裁剪开关,critic 损失远大于 policy 损失时可适当压低 value_loss_coef。

三、Actor-Critic 观测组配置逐项检查

单位:调 PPO 参数前,先检查观测——观测组配置错误才是"不收敛"的首要元凶。速度任务的观测组定义在 src/tasks/velocity/velocity_env_cfg.py,结构如下:

go2 速度跟踪策略在 unitree_rl_mjlab 中的训练效果

3.1 Actor 组:机器人"真实世界"能看到的

actor 组的每一项都带噪声(noise=Unoise(...)),例如 joint_vel 加 ±1.5 的均匀噪声、base_ang_vel 加 ±0.2:

观测项 来源 噪声
base_ang_vel IMU 角速度 ±0.2
projected_gravity 投影重力向量 ±0.05
command 期望速度指令(twist) 无
phase 步态相位(周期 0.6s) 无
joint_pos / joint_vel 相对默认关节角/角速度 ±0.01 / ±1.5
actions 上一步动作 无
height_scan 地形高度扫描 ±0.1

检查要点:

  • enable_corruption=True:训练时对 actor 观测做域随机化,是 sim-to-real 的关键。play 模式下会被自动关闭(见 unitree_g1_rough_env_cfg),若你手动改过此处,务必确认训练开、推理关。
  • 平地任务要删掉 height_scan:unitree_g1_flat_env_cfg 中明确删除了 actor/critic 两组的 height_scan 项——平地没有地形可扫描,保留它只会引入噪声维度。
  • 噪声大小应与实机传感器对齐:joint_vel 的 ±1.5 明显大于 joint_pos 的 ±0.01,因为真实编码器速度的噪声远大于位置。

3.2 Critic 组:训练时"上帝视角"

critic 组默认是 actor 组的超集(**actor_terms 展开),再追加 base_lin_vel、foot_height、foot_air_time、foot_contact、foot_contact_forces 等 地面接触与线速度信息,且 enable_corruption=False——critic 可以看到无噪声真值,只为提供更准确的价值估计。

这是 Actor-Critic 架构的标准玩法:actor 必须只用可部署的观测,而 critic 可以"开挂"。常见错误是把 IMU 线速度(仿真免费、实机需估计)加进 actor 组,训练时效果拔群,部署后立刻失效。模仿任务中这一点体现得更明显:unitree_g1_flat_tracking_env_cfg 在 has_state_estimation=False 时会主动从 actor 组剔除 motion_anchor_pos_b 和 base_lin_vel。

3.3 网络结构与观测归一化

actor 与 critic 的网络配置 统一为 hidden_dims=(512, 256, 128)、activation="elu"、obs_normalization=True:

  • obs_normalization=True 强烈建议保持开启:观测量纲不一(角度是 rad、速度是 m/s、相位是 0~1)时,未归一化的观测会让 critic 拟合困难,是"critic loss 爆炸"的常见原因。
  • hidden_dims:三层 512/256/128 对这个规模的输入已够用;若观测维度很大(如 23DOF 的 G1 加了大量 body 状态),可加宽到 (768, 512, 256) 试试。
  • 动作分布固定为 GaussianDistribution + scalar 标准差,即所有动作维度共享一个 std,调探索强度就改 init_std。

unitree_rl_mjlab G1 动作模仿(mimic)训练效果

四、PPO 之外的收敛杀手:奖励、课程与终止条件

如果 PPO 参数和观测都正常仍不收敛,按以下清单排查(对应 velocity_env_cfg.py):

  1. 终止条件过严:fell_over 阈值是躯干倾角 70°,配合 is_terminated 奖励项 -200.0,机器人早期频繁摔倒会让奖励信号被终止惩罚淹没。可先用 scripts/play.py 的 --no-terminations 模式观察纯跟踪能力。
  2. 课程学习(curriculum)是否生效:速度课程从 lin_vel_x ∈ (-0.5, 1.0) 起步,在 commands_vel 中于第 5000*24 步后放宽到 (-1.0, 2.0);地形难度则由 terrain_levels_vel 按行走距离升降级。若你复用了配置却手动调大了初始速度范围,课程等于被跳过。
  3. 奖励权重失衡:速度跟踪主奖励 track_linear_velocity/track_angular_velocity 权重为 1.0,而 is_terminated 为 -200、joint_pos_limits 为 -10——正负奖励量级差两个数量级时,策略会"躺平"保命。调权重时保持同一量级。
  4. 随机化干扰:push_robot(每 5~6 秒随机推)、foot_friction(摩擦 0.3~1.6)、encoder_bias 都在 events 中。调试阶段可临时关掉 push_robot 确认信号链路正常,收敛后再打开。

五、调优速查表

症状 优先检查
reward 恒为负、机器人一直摔 观测归一化、num-envs 是否太小、终止条件是否过严
前期快速上涨后平台期 entropy_coef 太小、desired_kl 偏保守、动作 init_std 太小
曲线剧烈震荡、KL 爆表 clip_param 缩到 0.1、desired_kl 调小、learning_rate 减半
收敛但步态怪异/单一 增大 entropy_coef 与 init_std,检查 pose 奖励的 std_walking 是否过紧
仿真能走、实机不行 actor 组混入了不可部署观测(critic 专有项)、噪声/corruption 配置
loss 出现 NaN 开 --enable-nan-guard,检查奖励函数是否除零、观测是否含 inf

G1 速度策略经 unitree_rl_mjlab 训练后部署到实机的效果

六、总结

unitree_rl_mjlab 的调优路径非常清晰:先保观测正确,再动 PPO 参数。具体顺序建议是:

  1. 用 play.py --agent random 验证观测/奖励管道;
  2. 确认 obs_normalization、num-envs、actor/critic 观测边界;
  3. 微调 desired_kl 与 entropy_coef,观察 KL 与 loss 曲线;
  4. 最后才考虑奖励权重与课程阶段(velocity 课程实现、跟踪任务环境配置)。

每个任务的实际生效参数会在训练时 dump 到 logs/rsl_rl/.../params/ 下的 env.yaml 和 agent.yaml,改配置后核对这两个文件,能帮你快速确认"命令行覆盖是否真的生效"。调参是门手艺活,但有了逐项检查的清单,收敛问题大多能在半天内定位。

更多安装与配置细节见 doc/setup_zh.md。

登录后查看全文
unitree_rl_mjlab