【亲测免费】 开源项目rl-mpc-locomotion使用教程

1、项目介绍

rl-mpc-locomotion 是一个用于四足机器人运动控制的深度强化学习（Deep RL）和模型预测控制（MPC）的开源项目。该项目旨在通过动态预测MPC控制器的权重参数，提供一个快速的四足机器人运动模拟和训练框架。控制框架由一个高层策略网络和一个低层模型预测控制器组成。MPC控制器参考了Cheetah Software，但使用Python编写，并完全开放了传感器数据与电机命令之间的接口，使得控制器可以轻松移植到任何主流模拟器中。

2、项目快速启动

安装依赖

首先，克隆项目仓库：

git clone https://github.com/silvery107/rl-mpc-locomotion.git
cd rl-mpc-locomotion

初始化子模块：

git submodule update --init

或者在第一步中使用 --recurse 选项同时克隆子模块：

git clone --recurse-submodules https://github.com/silvery107/rl-mpc-locomotion.git

创建conda环境：

conda env create -f environment.yml

安装 rsl_rl 模块：

cd extern/rsl_rl
pip install -e .

编译MPC求解器的Python绑定：

pip install -e .

快速启动

在Aliengo机器人上运行MPC控制器：

python RL_MPC_Locomotion.py --robot=Aliengo

支持的机器人类型包括Go1、A1和Aliengo。注意，你需要插入类似Xbox的游戏手柄来控制它，或者传递 --disable-gamepad 参数。默认控制模式为Fsm（有限状态机），你也可以尝试Min模式，这是一个没有FSM的最小MPC控制器。

3、应用案例和最佳实践

训练新策略

进入RL环境目录并训练新策略：

cd RL_Environment
python train.py task=Aliengo headless=False

按 v 键可以禁用查看器更新，再次按下可以恢复。设置 headless=True 可以在没有渲染的情况下进行训练。Tensorboard支持可用，运行以下命令查看训练日志：

tensorboard --logdir runs

加载预训练的检查点

加载预训练的检查点：

python train.py task=Aliengo checkpoint=runs/Aliengo/nn/Aliengo.pth test=True num_envs=4

设置 test=False 可以继续训练。

在Aliengo上运行预训练的权重策略

在 MPC_Controller/Parameters.py 中设置 bridge_MPC_to_RL 为 False，然后运行：

python RL_MPC_Locomotion.py --robot=Aliengo --mode=Policy --checkpoint=path/to/ckpt

如果没有提供检查点，它将加载最新的运行。

4、典型生态项目

• NVIDIA Isaac Gym: 用于并行模拟的框架，支持高效的RL训练。
• MIT Cheetah Software: 提供了MPC控制器的参考实现。
• OSQP, qpOASES, CVXOPT: 用于MPC求解的优化求解器。

通过这些生态项目的结合，rl-mpc-locomotion 能够提供一个完整的四足机器人运动控制解决方案。