UI-R1 的安装和配置教程

1. 项目基础介绍和主要编程语言

UI-R1 是一个开源项目，旨在通过强化学习来增强图形用户界面（GUI）代理的动作预测效率。该项目主要使用 Python 编程语言进行开发。

2. 项目使用的关键技术和框架

UI-R1 项目使用了强化学习、多模态大语言模型（MLLMs）和基于规则的推理（RFT）等技术。该项目基于开源资源 R1-V、Open-R1、Open-r1-multimodal 和 VLM-R1 构建。

3. 项目安装和配置的准备工作

在开始安装和配置 UI-R1 项目之前，请确保您已经安装了以下软件和库：

• Python 3.10
• Conda (用于环境管理)

3.1. 安装步骤

1. 创建一个新的 Conda 环境，命名为 ui-r1，并指定 Python 版本为 3.10：

conda create -n ui-r1 python=3.10

2. 激活新创建的 Conda 环境：

conda activate ui-r1

3. 克隆 UI-R1 项目的 GitHub 仓库：

git clone https://github.com/lll6gg/UI-R1.git

4. 进入项目目录，并执行 setup.sh 脚本：

cd UI-R1
bash setup.sh

5. 准备训练数据：

   • 将您的训练数据放入项目目录下的 data/images/ 文件夹。
   • 创建一个 JSON 文件，例如 test.json，其中包含图片文件名、边界框坐标和指令信息。边界框坐标格式为 [x1, y1, x2, y2]，分别代表左上角和右下角的坐标。

6. 运行推理示例：

cd evaluation/
bash test.sh

请确保在 test.sh 脚本中填写正确的模型路径、图片路径和测试 JSON 文件路径。

7. 运行训练示例：

cd src/script/
bash train.sh

或者运行高效训练脚本：

bash train_e.sh

结语

通过以上步骤，您应该已经成功安装并配置了 UI-R1 项目。现在，您可以开始使用该项目进行 GUI 代理的动作预测实验了。如果您在安装或配置过程中遇到任何问题，请查看项目文档或提交问题到 GitHub 仓库。