conrft 的安装和配置教程

项目基础介绍

conrft 是一个实现了“通过一致性策略强化细调 VLA 模型的方法”的开源项目。它主要用于机器人操纵任务中，通过强化学习的方法对 VLA（变长度模型）进行微调。该项目基于 Python 编程语言实现。

项目使用的关键技术和框架

该项目使用了以下关键技术：

• JAX：一种用于数值计算的 Python 库，具有自动微分和 GPU 加持功能。
• Octo：一个机器人操纵的基础框架。
• HIL-SERL：一个用于机器人硬件在环仿真（HIL）的框架。

主要框架包括：

• Flask：一个用于创建 web 应用的 Python 框架，本项目用于机器人服务器。
• Gym：一个用于创建和测试强化学习算法的 Python 库。

准备工作

在开始安装之前，请确保您的计算机上已安装以下依赖项：

• Python 3.10
• pip（Python 包管理器）

另外，如果您打算使用 GPU 加速，您还需要确保已安装了 CUDA。

安装步骤

以下是详细的安装步骤：

1. 创建 Conda 环境

   打开命令行，创建一个名为 conrft 的 Conda 环境，并指定 Python 版本为 3.10：

   conda create -n conrft python=3.10
   

2. 安装 JAX

   根据您的需要选择 CPU 或 GPU 版本安装 JAX。对于 CPU：

   pip install --upgrade "jax[cpu]"
   

   对于 GPU（请确保已安装 CUDA）：

   pip install --upgrade "jax[cuda11_pip]==0.4.20" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
   

3. 安装 Octo

   克隆 Octo 仓库并安装：

   git clone [e-mail]:cccedric/octo.git
   cd octo
   pip install -e .
   pip install -r requirements.txt
   

   注意：这是 Octo 的一个个性化分支，添加了一些自定义函数，同时保留了其用于通用目的机器人操纵的核心功能。

4. 安装 serl_launcher

   切换到 serl_launcher 目录并安装：

   cd serl_launcher
   pip install -e .
   pip install -r requirements.txt
   

5. 安装 serl_robot_infra

   请参考 serl_robot_infra 目录中的 README 文件进行安装，该文件提供了有关设置基于阻抗的 serl_franka_controllers 的指导。安装完成后，您应该能够启动机器人服务器并与 franka_env gym 进行硬件控制。

按照以上步骤操作后，您应该已经成功安装了 conrft 项目，并可以开始使用它进行机器人操纵任务的学习和测试了。