ShowUI 项目使用教程

1. 项目介绍

ShowUI 是一款开源的、端到端的视觉-语言-动作模型，专为 GUI 智能体设计。该项目由新加坡国立大学 Show Lab 和 Microsoft 合作开发，旨在通过集成视觉理解和自然语言处理能力，实现对图形用户界面的自动化操作。

2. 项目快速启动

环境准备

在开始使用 ShowUI 前，确保你已经安装了以下依赖：

• Python 3.x
• pip
• TensorFlow 或 PyTorch

使用以下命令安装必要的 Python 包：

pip install -r requirements.txt

启动服务

运行以下命令启动 ShowUI 的 Gradio API 服务：

python3 api.py

这将会启动一个本地服务器，你可以通过浏览器访问 http://localhost:7860 来与模型交互。

3. 应用案例和最佳实践

UI 指导的令牌选择

你可以通过运行以下 Jupyter Notebook 来尝试 UI 指导的令牌选择功能：

jupyter notebook test.ipynb

自定义数据标注

如果你想对自己的数据集进行标注，可以运行以下 Jupyter Notebook：

jupyter notebook recaption.ipynb

在这里，我们提供了使用 GPT-4o 进行原始注释重写的说明。

4. 典型生态项目

ShowUI 的生态系统包括多个相关项目，以下是一些典型的生态项目：

• Mind2Web: 一个用于 Web 界面自动化的任务框架。
• AITW: 一个用于训练和评估 GUI 任务的工具。
• Miniwob: 一个用于小型 GUI 任务训练的数据集。

通过这些生态项目，开发者可以进一步扩展 ShowUI 的应用范围，实现更复杂的 GUI 自动化任务。