UGround 的安装和配置教程

1、项目的基础介绍和主要的编程语言

UGround 是一个开源项目，专注于为 GUI 代理提供通用的视觉 grounding 技术。该项目旨在帮助代理理解和交互数字世界，就像人类一样。项目的主要编程语言是 Python。

2、项目使用的关键技术和框架

UGround 使用了多种关键技术和框架，包括：

• Python：作为主要编程语言。
• PyTorch：深度学习框架，用于构建和训练模型。
• Transformers：用于处理自然语言和视觉数据的库。
• Qwen-VL：一种多模态预训练模型，用于视觉 grounding 任务。

3、项目安装和配置的准备工作和详细的安装步骤

准备工作：

1. 确保你的系统已安装 Python (3.6 以上版本) 和 pip。
2. 安装 PyTorch：运行以下命令安装 PyTorch。

pip install torch torchvision torchaudio

3. 安装 Transformers：运行以下命令安装 Transformers。

pip install transformers

4. 安装其他依赖库：运行以下命令安装其他依赖库。

pip install qwen-vl-utils vllm accelerate

安装步骤：

1. 克隆项目仓库：运行以下命令克隆项目仓库。

git clone https://github.com/OSU-NLP-Group/UGround.git

2. 进入项目目录：运行以下命令进入项目目录。

cd UGround

3. 安装模型权重：运行以下命令安装模型权重。

pip install 'vllm==0.6.1'

4. 启动模型服务：运行以下命令启动模型服务。

vllm serve osunlp/UGround-V1-7B --api-key token-abc123 --dtype float16

5. 测试模型：运行以下命令测试模型。

python test.py

注意：请将 "token-abc123" 替换为你的 API 密钥。