Microduck强化学习训练:PPO算法+MuJoCo仿真,训练出双足机器人行走策略
Microduck强化学习训练:PPO算法+MuJoCo仿真,训练出双足机器人行走策略
Microduck 是一个紧凑型双足机器人项目,其行走能力完全由强化学习(RL)策略驱动。本文介绍如何在 MuJoCo 仿真环境中,使用 PPO 算法训练一套稳健的双足行走策略,并将其导出为 ONNX 模型部署到实物机器人上。无需手写控制律,机器人"自己学会走路"。
项目架构:仿真训练与实机部署的分工
Microduck 仓库由两个独立模块组成,职责边界清晰:
| 模块 | 路径 | 职责 |
|---|---|---|
| 🧠 仿真训练 | mjlab_microduck/ |
基于 MjLab(MuJoCo Lab)的 RL 训练环境,训练并导出 walk.onnx |
| 🤖 实机部署 | microduck/ |
Raspberry Pi Zero 2 W 上运行,读取 IMU、手柄/键盘输入,驱动 14 个 XL330 舵机,加载 ONNX 策略 |
整体数据流如下:
CAD 3D 模型 → MuJoCo MJCF → MjLab 训练环境 → PPO 训练 → ONNX 导出 → 树莓派部署
训练在 GPU 工作站上完成,部署在资源极有限的树莓派上,ONNX 格式正是连接两者的桥梁。
训练环境核心配置解析
训练环境的完整配置定义在 microduck_velocity_env_cfg.py 中,下面拆解几个关键部分。
PPO 算法超参数
PPO(Proximal Policy Optimization)是当前机器人 RL 领域最主流的策略梯度算法,核心优势是训练稳定、超参不敏感。Microduck 采用的关键参数:
| 参数 | 值 | 作用 |
|---|---|---|
clip_param |
0.2 | 限制策略更新幅度,防止"一步学崩" |
learning_rate |
1e-3 | 配合 adaptive 调度,自动调节 |
gamma |
0.99 | 折扣因子,让策略关注长期回报 |
lam |
0.95 | GAE 偏置,平衡偏差与方差 |
entropy_coef |
0.01 | 鼓励探索,避免过早收敛 |
num_learning_epochs |
5 | 每轮采集数据后的更新次数 |
desired_kl |
0.01 | 自适应 KL 目标,防止策略跳变 |
Actor(策略网络)和 Critic(价值网络)均为 3 层 MLP(512 → 256 → 128),激活函数 ELU,启用观测归一化。这个网络规模足够小,可以流畅运行在树莓派的 ONNX Runtime 上。
仿真器与执行器模型
MuJoCo 物理引擎配置了较高精度的求解器参数(timestep=0.005s、ccd_iterations=100),确保足部接触和碰撞检测可靠。
更关键的是执行器模型:Microduck 使用 BAM(Better Actuator Models) 模拟 XL330-M288-T 舵机的真实特性,包括:
- 通信延迟:3~6 个物理步(约 15~30ms),与真实 USB 串口通信延迟一致
- 电压波动:7V~8V 范围内随机,模拟电池放电
- 电流限制:最大 1.75A
这些细节让训练出的策略在实机上不会因为"仿真太理想"而失效。配置详见 microduck_constants.py。
观测空间设计
策略的输入观测与部署端 walk.py 严格一一对应:
| 观测项 | 维度 | 说明 |
|---|---|---|
| 角速度(gyro) | 3 | BNO080 IMU 安装坐标系下 |
| 投影重力 | 3 | 同上,判断躯干倾斜 |
| 关节位置偏差 | 14 | 相对默认站姿的偏差 |
| 关节速度 | 14 | 电机编码器读数 |
| 上一时刻动作 | 14 | 形成"动作历史" |
| 速度指令 | 3 | 前进/侧移/转向(来自手柄或键盘) |
其中 IMU 相关观测在仿真中注入了 0~1 步延迟和 ±0.01 噪声,精确模拟真实 BNO080 模块在 I2C 总线上的通信特性。IMU 安装方向由四元数 BNO080_MOUNT_QUAT 定义,与实物上的实际安装姿态一致。
奖励函数:如何"教"机器人走路
奖励设计是 RL 训练中最核心的部分——它定义了"什么是好的行走"。Microduck 的奖励体系如下:
| 奖励项 | 权重 | 目的 |
|---|---|---|
track_linear_velocity |
+2.0 | 追踪指令的线速度(前后/侧移) |
track_angular_velocity |
+2.0 | 追踪指令的角速度(转向) |
upright |
+2.0 | 保持躯干 pitch ≈ 0°,不前后翻 |
pose |
+1.0 | 关节角度接近参考站姿,分站立/行走两种 std |
air_time |
+3.0 | 足部离地时间落在 0.125~0.3s 窗口内 |
foot_slip |
-1.0 | 惩罚足底打滑 |
action_rate_l2 |
-0.1 | 惩罚动作突变,让步态平滑 |
self_collisions |
-1.0 | 惩罚肢体自碰撞 |
feet_distance |
-1000.0 | 双脚水平距离 < 5cm 时强惩罚 |
特别地,feet_distance 的超大权重(-1000)是为了杜绝机器人"双脚并拢踢腿"这类退化策略。air_time 奖励则引导出自然的迈步节奏:抬腿时间太短像拖行,太长像慢动作。
自定义奖励函数(如 feet_distance_penalty、upright、mounted_body_projected_gravity)实现于 mdp.py。
课程学习:从站立到行走的渐进策略
一上来就让机器人全速走是不现实的。Microduck 采用基于步数的分段课程(step_based_staged_curriculum),在训练达到特定步数时自动切换难度:
- 阶段 0(初始):速度指令范围 ±0.25 m/s,无踏步惩罚,机器人先学会站稳
- 阶段 1(72,000 步后):速度范围扩大到 ±0.35 m/s,开启踏步惩罚(站定时抬脚扣分),离地时间奖励权重提升
此外,速度指令中有 10% 的环境被分配为纯旋转任务(零线速度、非零角速度),专门训练原地转向能力。这一设计来自 mdp.py 中的 UniformVelocityCommandWithRotation 类。
从仿真到实物:ONNX 导出与部署
训练完成后,使用 export_onnx.py 将 PyTorch 检查点导出为 ONNX:
# 在 mjlab_microduck/ 目录下
uv run python src/mjlab_microduck/scripts/export_onnx.py
导出文件会自动附带元数据(关节名称、默认关节位置),部署端 walk.py 启动时读取这些元数据来初始化参考姿态,并校验关节顺序是否匹配。
将导出的模型放置到 microduck/src/agents/walk.onnx,然后执行 make sync 同步到树莓派即可生效。
快速上手:克隆仓库并运行训练
1. 克隆仓库
git clone https://gitcode.com/gh_mirrors/mi/Microduck-build-tutorial
cd Microduck-build-tutorial/mjlab_microduck
2. 安装训练依赖
uv sync
需要 Python ≥ 3.12,依赖
mjlab==1.3.0、warp-lang、better-actuator-models等。完整依赖列表见 pyproject.toml。
3. 启动训练
MjLab 提供标准训练入口,指定任务 ID Mjlab-Velocity-Microduck(在 tasks/init.py 中注册):
# GPU 训练(推荐)
uv run mjlab train --task Mjlab-Velocity-Microduck --device cuda:0
# CPU 训练(速度较慢,适合调试)
uv run mjlab train --task Mjlab-Velocity-Microduck --device cpu
训练日志保存在 logs/rsl_rl/mjlab_microduck_velocity/ 目录下,每 500 个 iteration 自动保存一次检查点(.pt 文件)。
4. 录制评估视频
项目提供了固定指令评估脚本,可一键录制 15 种场景(站立、前进、后退、侧移、旋转、受推等)的视频:
uv run python scripts/record_fixed_command_eval_videos.py \
--checkpoint <your_checkpoint.pt> \
--output-dir <output_folder>
该脚本会逐帧渲染 MuJoCo 视角并编码为 MP4,方便直观检查策略质量。详见 record_fixed_command_eval_videos.py。
关键文件导航
| 文件 | 说明 |
|---|---|
| microduck_velocity_env_cfg.py | 训练环境完整配置:观测、奖励、课程、终止条件、PPO 超参 |
| mdp.py | 自定义奖励函数、IMU 安装变换、课程学习逻辑 |
| microduck_constants.py | MJCF 加载、BAM 执行器模型、初始站姿定义 |
| robot_walk.xml | MuJoCo 机器人模型(由 CAD 导出) |
| export_onnx.py | PyTorch → ONNX 导出脚本 |
| walk.py | 部署端:ONNX 策略加载、观测构建、安全保护 |
| constants.py | 部署端:舵机 ID 映射、观测 DOF 顺序 |
常见问题
Q:CPU 训练太慢怎么办?
PPO 训练严重依赖 GPU 并行。使用 NVIDIA GPU + CUDA 可加速 10 倍以上,--device cuda:0 即可。
Q:仿真中表现正常,实机却容易摔倒?
优先排查三个方向:① IMU 安装方向是否与 BNO080_MOUNT_QUAT 一致;② 左右腿舵机 ID 是否装反;③ 膝盖关节 offset 是否与仿真模型匹配。
Q:如何调整最大行走速度?
修改 microduck_velocity_env_cfg.py 中 command.ranges.lin_vel_x 等参数,或在课程学习的 set_command_velocity 调用中调整。
Q:导出 ONNX 后启动报错 "joint_names order does not match"?
说明 walk.py 中 OBSERVATION_DOF_ORDER 与 ONNX 元数据的 joint_names 顺序不一致,需核对两者顺序。
📌 提示:训练时可在
microduck_velocity_env_cfg.py的SCENE_CFG中增大num_envs(如设为 4096),利用 GPU 并行多个环境来加速收敛。默认值为 1,适合单机调试。



