【亲测免费】 推荐开源项目：safe-control-gym——安全学习控制与强化学习的统一基准套件

项目介绍

safe-control-gym 是一个基于物理的 CartPole 和 Quadrotor 环境，采用了 OpenAI Gym 和 PyBullet 框架。该项目特别之处在于，它通过 CasADi 实现了符号化的先验动力学，专为学习型控制和基于模型/无模型的强化学习（RL）设计。这些环境不仅包括符号化安全约束，还实现了输入、参数和动力学干扰，用于测试控制方法的鲁棒性和泛化能力。

项目技术分析

核心技术栈

• OpenAI Gym：提供标准化的环境接口，便于算法开发和比较。
• PyBullet：一个高效的物理仿真引擎，支持复杂的动力学仿真。
• CasADi：用于符号计算和优化的库，帮助实现先验动力学模型。

主要功能

1. 符号化动力学：通过 CasADi 实现的符号化模型，提供了对系统动态的深入理解。
2. 安全约束：内置符号化安全约束，确保控制策略的安全性。
3. 干扰测试：支持输入、参数和动力学干扰，验证控制策略的鲁棒性。

项目及技术应用场景

学习型控制

• 机器人控制：适用于各种机器人系统的学习型控制算法开发和测试。
• 自动驾驶：可用于自动驾驶车辆的动力学模型和控制策略研究。

强化学习

• 无人机控制：Quadrotor 环境可用于开发无人机的强化学习控制算法。
• 游戏AI：CartPole 环境可用于基础强化学习算法的验证和教学。

安全性研究

• 安全约束验证：内置的安全约束功能，可用于验证控制策略的安全性。
• 鲁棒性测试：通过干扰测试，评估控制策略在不同条件下的表现。

项目特点

1. 统一基准套件

safe-control-gym 提供了一个统一的基准套件，方便研究者比较不同控制算法的性能。

2. 丰富的控制器和过滤器

• 控制器：包括 PID、LQR、iLQR、线性 MPC、GP-MPC、SAC、PPO、DDPG、Safety Layer、RARL、RAP 等。
• 安全过滤器：包括 MPSC、CBF、神经网络 CBF 等。

3. 高效的仿真性能

与 OpenAI Cartpole 和 PyBullet Gym 的 Inverted Pendulum 环境相比，safe-control-gym 提供了更高的仿真效率和更多的安全特性。

4. 易于使用和扩展

• 安装简便：支持 Ubuntu 和 macOS，提供详细的安装指南。
• API友好：提供清晰的 API 文档和示例脚本，便于快速上手。

安装指南

克隆仓库

git clone https://github.com/utiasDSL/safe-control-gym.git
cd safe-control-gym

创建 Conda 环境（可选）

conda create -n safe python=3.10
conda activate safe

安装

python -m pip install --upgrade pip
python -m pip install -e .

安装依赖

conda install -c anaconda gmp

或

sudo apt-get install libgmp-dev

快速上手

3D Quadrotor Lemniscate 轨迹跟踪（PID）

cd ./examples/
python3 pid/pid_experiment.py \
    --algo pid \
    --task quadrotor \
    --overrides \
        ./pid/config_overrides/quadrotor_3D/quadrotor_3D_tracking.yaml

Cartpole 稳定化（LQR）

cd ./examples/
python3 lqr/lqr_experiment.py \
    --algo lqr \
    --task cartpole \
    --overrides \
        ./lqr/config_overrides/cartpole/cartpole_stabilization.yaml \
        ./lqr/config_overrides/cartpole/lqr_cartpole_stabilization.yaml

2D Quadrotor 轨迹跟踪（PPO）

cd ./examples/rl/
python3 rl_experiment.py \
    --algo ppo \
    --task quadrotor \
    --overrides \
        ./config_overrides/quadrotor_2D/quadrotor_2D_track.yaml \
        ./config_overrides/quadrotor_2D/ppo_quadrotor_2D.yaml \
    --kv_overrides \
        algo_config.training=False

总结

safe-control-gym 是一个功能强大、易于使用的开源项目，适用于学习型控制和强化学习的研究。其丰富的控制器和安全特性，以及高效的仿真性能，使其成为相关领域研究者的理想选择。立即尝试 safe-control-gym，开启你的安全学习控制之旅！

---

更多详细信息和示例代码，请访问 safe-control-gym GitHub 仓库。