reactive_diffusion_policy 的安装和配置教程

1. 项目基础介绍和主要编程语言

reactive_diffusion_policy 是一个针对视觉触觉政策学习的研究项目，主要用于丰富接触操作任务中的机器人学习。该项目基于深度学习，旨在通过视觉和触觉信息训练机器人完成复杂的操作任务。主要编程语言为 Python。

2. 项目使用的关键技术和框架

• 深度学习框架：使用 PyTorch 作为主要的深度学习框架。
• 视觉处理：利用 ROS2 和 librealsense2 库进行相机数据采集和处理。
• 触觉传感器集成：集成 GelSight Mini 触觉传感器，用于收集触觉数据。
• 数据记录与处理：使用自定义脚本进行数据的记录和处理，支持 Zarr 数据格式存储。

3. 项目安装和配置的准备工作及详细安装步骤

准备工作

• 操作系统：Ubuntu 22.04
• Python 版本：Python 3.8 或以上版本
• 依赖库：PyTorch（GPU 版本），ROS2 Humble，librealsense2，以及其他必要的 Python 库

安装步骤

步骤 1：安装 ROS2 Humble

# 安装 ROS2 Humble
sudo apt update
sudo apt install -y software-properties-common
sudo add-apt-repository 'deb http://packages.ros.org/ros2/ubuntu $(lsb_release -cs) main'
sudo apt update
sudo apt install -y ros-humble-desktop

步骤 2：安装 Python 依赖库

# 创建 Python 虚拟环境
python3 -m venv rdp_venv
source rdp_venv/bin/activate

# 安装 PyTorch
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117

# 安装其他依赖库
pip install -r requirements.txt

步骤 3：安装 librealsense2

# 安装 librealsense2
sudo apt install -y librealsense2-dev

步骤 4：安装 MindVision SDK（可选）

# 跟随 third_party/mvsdk/README.md 的说明安装 MindVision SDK

步骤 5：配置项目

• 环境配置：编辑 reactive_diffusion_policy/config/task/real_robot_env.yaml 文件，配置环境设置，包括 host_ip、robot_ip、vr_server_ip 和 calibration_path。
• 任务配置：创建任务配置文件，分配要使用的相机和传感器。

步骤 6：运行项目

• 启动服务：分别在不同的终端启动远程操作服务器、相机节点启动器、数据记录器等服务。
• 运行数据采集：在 Quest 3 上运行 TactAR APP，进行数据采集。

以上步骤为 reactive_diffusion_policy 的基本安装和配置流程。根据实际需求，可能还需要进行额外的数据预处理和模型训练步骤。