Microduck强化学习训练:PPO算法+MuJoCo仿真,训练出双足机器人行走策略

原创2026-10-14 11:19:342,968 阅读

Microduck强化学习训练:PPO算法+MuJoCo仿真,训练出双足机器人行走策略

Microduck 是一个紧凑型双足机器人项目,其行走能力完全由强化学习(RL)策略驱动。本文介绍如何在 MuJoCo 仿真环境中,使用 PPO 算法训练一套稳健的双足行走策略,并将其导出为 ONNX 模型部署到实物机器人上。无需手写控制律,机器人"自己学会走路"。

Microduck 双足机器人结构爆炸图,展示各机械部件装配关系

项目架构:仿真训练与实机部署的分工

Microduck 仓库由两个独立模块组成,职责边界清晰:

模块 路径 职责
🧠 仿真训练 mjlab_microduck/ 基于 MjLab(MuJoCo Lab)的 RL 训练环境,训练并导出 walk.onnx
🤖 实机部署 microduck/ Raspberry Pi Zero 2 W 上运行,读取 IMU、手柄/键盘输入,驱动 14 个 XL330 舵机,加载 ONNX 策略

整体数据流如下:

CAD 3D 模型 → MuJoCo MJCF → MjLab 训练环境 → PPO 训练 → ONNX 导出 → 树莓派部署

训练在 GPU 工作站上完成,部署在资源极有限的树莓派上,ONNX 格式正是连接两者的桥梁。

训练环境核心配置解析

训练环境的完整配置定义在 microduck_velocity_env_cfg.py 中,下面拆解几个关键部分。

PPO 算法超参数

PPO(Proximal Policy Optimization)是当前机器人 RL 领域最主流的策略梯度算法,核心优势是训练稳定、超参不敏感。Microduck 采用的关键参数:

参数 值 作用
clip_param 0.2 限制策略更新幅度,防止"一步学崩"
learning_rate 1e-3 配合 adaptive 调度,自动调节
gamma 0.99 折扣因子,让策略关注长期回报
lam 0.95 GAE 偏置,平衡偏差与方差
entropy_coef 0.01 鼓励探索,避免过早收敛
num_learning_epochs 5 每轮采集数据后的更新次数
desired_kl 0.01 自适应 KL 目标,防止策略跳变

Actor(策略网络)和 Critic(价值网络)均为 3 层 MLP(512 → 256 → 128),激活函数 ELU,启用观测归一化。这个网络规模足够小,可以流畅运行在树莓派的 ONNX Runtime 上。

仿真器与执行器模型

MuJoCo 物理引擎配置了较高精度的求解器参数(timestep=0.005s、ccd_iterations=100),确保足部接触和碰撞检测可靠。

更关键的是执行器模型:Microduck 使用 BAM(Better Actuator Models) 模拟 XL330-M288-T 舵机的真实特性,包括:

  • 通信延迟:3~6 个物理步(约 15~30ms),与真实 USB 串口通信延迟一致
  • 电压波动:7V~8V 范围内随机,模拟电池放电
  • 电流限制:最大 1.75A

这些细节让训练出的策略在实机上不会因为"仿真太理想"而失效。配置详见 microduck_constants.py。

观测空间设计

策略的输入观测与部署端 walk.py 严格一一对应:

观测项 维度 说明
角速度(gyro) 3 BNO080 IMU 安装坐标系下
投影重力 3 同上,判断躯干倾斜
关节位置偏差 14 相对默认站姿的偏差
关节速度 14 电机编码器读数
上一时刻动作 14 形成"动作历史"
速度指令 3 前进/侧移/转向(来自手柄或键盘)

其中 IMU 相关观测在仿真中注入了 0~1 步延迟和 ±0.01 噪声,精确模拟真实 BNO080 模块在 I2C 总线上的通信特性。IMU 安装方向由四元数 BNO080_MOUNT_QUAT 定义,与实物上的实际安装姿态一致。

Microduck 躯干上 IMU 安装位置标记,红点为 IMU 模块,蓝点为零横滚参考方向

奖励函数:如何"教"机器人走路

奖励设计是 RL 训练中最核心的部分——它定义了"什么是好的行走"。Microduck 的奖励体系如下:

奖励项 权重 目的
track_linear_velocity +2.0 追踪指令的线速度(前后/侧移)
track_angular_velocity +2.0 追踪指令的角速度(转向)
upright +2.0 保持躯干 pitch ≈ 0°,不前后翻
pose +1.0 关节角度接近参考站姿,分站立/行走两种 std
air_time +3.0 足部离地时间落在 0.125~0.3s 窗口内
foot_slip -1.0 惩罚足底打滑
action_rate_l2 -0.1 惩罚动作突变,让步态平滑
self_collisions -1.0 惩罚肢体自碰撞
feet_distance -1000.0 双脚水平距离 < 5cm 时强惩罚

特别地,feet_distance 的超大权重(-1000)是为了杜绝机器人"双脚并拢踢腿"这类退化策略。air_time 奖励则引导出自然的迈步节奏:抬腿时间太短像拖行,太长像慢动作。

自定义奖励函数(如 feet_distance_penalty、upright、mounted_body_projected_gravity)实现于 mdp.py。

课程学习:从站立到行走的渐进策略

一上来就让机器人全速走是不现实的。Microduck 采用基于步数的分段课程(step_based_staged_curriculum),在训练达到特定步数时自动切换难度:

  • 阶段 0(初始):速度指令范围 ±0.25 m/s,无踏步惩罚,机器人先学会站稳
  • 阶段 1(72,000 步后):速度范围扩大到 ±0.35 m/s,开启踏步惩罚(站定时抬脚扣分),离地时间奖励权重提升

此外,速度指令中有 10% 的环境被分配为纯旋转任务(零线速度、非零角速度),专门训练原地转向能力。这一设计来自 mdp.py 中的 UniformVelocityCommandWithRotation 类。

从仿真到实物:ONNX 导出与部署

训练完成后,使用 export_onnx.py 将 PyTorch 检查点导出为 ONNX:

# 在 mjlab_microduck/ 目录下
uv run python src/mjlab_microduck/scripts/export_onnx.py

导出文件会自动附带元数据(关节名称、默认关节位置),部署端 walk.py 启动时读取这些元数据来初始化参考姿态,并校验关节顺序是否匹配。

将导出的模型放置到 microduck/src/agents/walk.onnx,然后执行 make sync 同步到树莓派即可生效。

Microduck 实机行走,强化学习 PPO 策略驱动双足自然步态

快速上手:克隆仓库并运行训练

1. 克隆仓库

git clone https://gitcode.com/gh_mirrors/mi/Microduck-build-tutorial
cd Microduck-build-tutorial/mjlab_microduck

2. 安装训练依赖

uv sync

需要 Python ≥ 3.12,依赖 mjlab==1.3.0、warp-lang、better-actuator-models 等。完整依赖列表见 pyproject.toml。

3. 启动训练

MjLab 提供标准训练入口,指定任务 ID Mjlab-Velocity-Microduck(在 tasks/init.py 中注册):

# GPU 训练(推荐)
uv run mjlab train --task Mjlab-Velocity-Microduck --device cuda:0

# CPU 训练(速度较慢,适合调试)
uv run mjlab train --task Mjlab-Velocity-Microduck --device cpu

训练日志保存在 logs/rsl_rl/mjlab_microduck_velocity/ 目录下,每 500 个 iteration 自动保存一次检查点(.pt 文件)。

4. 录制评估视频

项目提供了固定指令评估脚本,可一键录制 15 种场景(站立、前进、后退、侧移、旋转、受推等)的视频:

uv run python scripts/record_fixed_command_eval_videos.py \
    --checkpoint <your_checkpoint.pt> \
    --output-dir <output_folder>

该脚本会逐帧渲染 MuJoCo 视角并编码为 MP4,方便直观检查策略质量。详见 record_fixed_command_eval_videos.py。

关键文件导航

文件 说明
microduck_velocity_env_cfg.py 训练环境完整配置:观测、奖励、课程、终止条件、PPO 超参
mdp.py 自定义奖励函数、IMU 安装变换、课程学习逻辑
microduck_constants.py MJCF 加载、BAM 执行器模型、初始站姿定义
robot_walk.xml MuJoCo 机器人模型(由 CAD 导出)
export_onnx.py PyTorch → ONNX 导出脚本
walk.py 部署端:ONNX 策略加载、观测构建、安全保护
constants.py 部署端:舵机 ID 映射、观测 DOF 顺序

常见问题

Q:CPU 训练太慢怎么办? PPO 训练严重依赖 GPU 并行。使用 NVIDIA GPU + CUDA 可加速 10 倍以上,--device cuda:0 即可。

Q:仿真中表现正常,实机却容易摔倒? 优先排查三个方向:① IMU 安装方向是否与 BNO080_MOUNT_QUAT 一致;② 左右腿舵机 ID 是否装反;③ 膝盖关节 offset 是否与仿真模型匹配。

Q:如何调整最大行走速度? 修改 microduck_velocity_env_cfg.py 中 command.ranges.lin_vel_x 等参数,或在课程学习的 set_command_velocity 调用中调整。

Q:导出 ONNX 后启动报错 "joint_names order does not match"? 说明 walk.py 中 OBSERVATION_DOF_ORDER 与 ONNX 元数据的 joint_names 顺序不一致,需核对两者顺序。

Microduck 与用户互动演示,展示 PPO 强化学习训练出的行走策略效果

📌 提示:训练时可在 microduck_velocity_env_cfg.py 的 SCENE_CFG 中增大 num_envs(如设为 4096),利用 GPU 并行多个环境来加速收敛。默认值为 1,适合单机调试。

登录后查看全文
Microduck-build-tutorial