开源项目最佳实践：Reactive Diffusion Policy

1. 项目介绍

Reactive Diffusion Policy（简称RDP）是一个用于慢速-快速视觉-触觉策略学习的研究项目，旨在提高机器人在接触丰富环境下的操作能力。该项目由上海交通大学、清华大学、上海琦智研究院、上海人工智能实验室等机构的研究人员共同开发，并在RSS 2025会议上发表。RDP通过结合视觉和触觉信息，训练机器人执行复杂的操作任务。

2. 项目快速启动

环境准备

• 操作系统：Ubuntu 22.04
• GPU：NVIDIA RTX 3090 或类似性能的GPU
• VR设备：Meta Quest 3 VR 头盔
• 相机：RealSense D435（手腕相机）、RealSense D415（外部相机）
• 触觉传感器：GelSight Mini（可选）

安装依赖

首先，创建一个虚拟环境并激活：

python3 -m venv rdp_venv
source rdp_venv/bin/activate

然后，安装必要的Python库：

pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117
pip install -r requirements.txt

如果需要记录实验视频，还需要安装MindVision SDK。

配置环境

编辑reactive_diffusion_policy/config/task/real_robot_env.yaml文件，配置环境参数，包括主机IP、机器人IP、VR服务器IP和校准路径。

运行服务

在单独的终端中运行以下命令：

# 启动遥操作服务器
python teleop.py task=[task_config_file_name]

# 启动相机节点启动器
python camera_node_launcher.py task=[task_config_file_name]

# 启动数据记录器
python record_data.py --save_to_disk --save_file_dir [task_data_dir] --save_file_name [record_seq_file_name]

运行VR应用

根据Unity仓库中的用户指南运行TactAR应用。

3. 应用案例和最佳实践

• 数据采集：确保正确配置环境和任务，遵循数据采集的最佳实践，包括校准、配置文件编辑和数据处理。
• 模型训练：在训练模型前，确保生成的数据集符合所需的控制频率，并使用正确的配置文件进行训练。

4. 典型生态项目

• TactAR：用于遥操作的VR应用，提供视觉和触觉反馈。
• Flexiv Rizon 4：一款支持关节扭矩传感的机器人臂，适用于复杂操作任务。
• MindVision SDK：用于记录实验视频的SDK，提高数据采集的效率。

通过遵循以上最佳实践，开发者可以更好地利用Reactive Diffusion Policy项目，提升机器人的操作能力和智能化水平。