Physical-Intelligence开源项目openpi使用教程

1. 项目介绍

openpi是由Physical Intelligence团队发布的开源项目，它包含了一系列用于机器人学的开源模型和软件包。该项目目前主要包含两种类型的模型：π₀模型和π₀-FAST模型，这两种模型都是基于视觉-语言-动作（VLA）的流式扩散模型和自回归模型。π₀模型经过超过10,000小时机器人数据的预训练，提供了基础模型检查点，以及用于微调和直接使用的示例。

2. 项目快速启动

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Ubuntu 22.04
• GPU：NVIDIA GPU，具体型号根据您的使用模式（推理、微调等）有不同的需求。

克隆仓库和子模块

git clone --recurse-submodules [e-mail]:Physical-Intelligence/openpi.git

如果已经克隆了仓库，可以使用以下命令更新子模块：

git submodule update --init --recursive

安装依赖

项目使用uv来管理Python依赖。首先安装uv：

• 根据uv的安装说明进行安装。
• 安装完成后，运行以下命令设置环境：

GIT_LFS_SKIP_SMUDGE=1 uv sync
GIT_LFS_SKIP_SMUDGE=1 uv pip install -e .

注意：环境变量GIT_LFS_SKIP_SMUDGE=1用于正确地拉取LeRobot依赖。

使用Docker安装（可选）

如果系统配置遇到问题，可以考虑使用Docker来简化安装。具体Docker安装指南请参考项目文档。

3. 应用案例和最佳实践

以下是几个应用案例和最佳实践：

运行预训练模型的推理

以下是一个使用π₀-FAST-DROID模型进行推理的代码示例：

from openpi.training import config
from openpi.policies import policy_config
from openpi.shared import download

config = config.get_config("pi0_fast_droid")
checkpoint_dir = download.maybe_download("s3://openpi-assets/checkpoints/pi0_fast_droid")

# 创建训练好的策略
policy = policy_config.create_trained_policy(config, checkpoint_dir)

# 运行推理
example = {
    "observation/exterior_image_1_left": "...",
    "observation/wrist_image_left": "...",
    # 添加其他必要的数据
    "prompt": "pick up the fork"
}
action_chunk = policy.infer(example)["actions"]

微调基础模型

如果您想在自己的数据集上微调基础模型，可以按照以下步骤操作：

1. 将您的数据转换为LeRobot数据集格式。
2. 定义训练配置并运行训练。
3. 启动策略服务器并运行推理。

4. 典型生态项目

openpi项目是机器人学领域的一个典型开源项目，它提供了与多种机器人平台和任务相关的微调模型。以下是一些在openpi生态中常见的项目类型：

• 针对不同机器人平台的微调模型，例如针对DROID和ALOHA的模型。
• 针对特定任务的微调模型，如折叠毛巾、打开食品容器等。
• 用于远程推理的模型和服务，可以将模型运行在远程服务器上，并通过WebSocket连接向机器人发送动作。

通过使用openpi项目，研究人员和开发者可以加速自己在机器人学领域的研究和开发工作。