Self-Operating Computer 项目教程

项目介绍

Self-Operating Computer 是一个开源框架，旨在使多模态模型能够操作计算机。该框架使用与人类操作员相同的输入和输出，即模型可以查看屏幕并决定一系列鼠标和键盘操作以达到特定目标。目前，该项目已集成 GPT-4-Vision 作为默认模型，并设计为支持跨平台操作。

项目快速启动

安装依赖

首先，确保你已经安装了必要的依赖项。你可以通过以下命令安装：

pip install -r requirements.txt

运行项目

安装完成后，你可以通过以下命令启动项目：

python setup.py develop

使用示例

以下是一个简单的使用示例，展示如何使用该框架进行基本的屏幕操作：

from self_operating_computer import operate

# 初始化操作对象
operator = operate.Operator()

# 执行一系列操作
operator.click(x=100, y=100)
operator.type("Hello, World!")
operator.press("enter")

应用案例和最佳实践

自动化任务

Self-Operating Computer 框架可以用于自动化日常任务，例如自动填写表单、定时发送邮件等。以下是一个自动化填写表单的示例：

from self_operating_computer import operate

# 初始化操作对象
operator = operate.Operator()

# 打开网页
operator.open_url("https://example.com/form")

# 填写表单
operator.click(x=200, y=300)
operator.type("John Doe")
operator.click(x=200, y=400)
operator.type("[e-mail]")
operator.click(x=200, y=500)
operator.press("enter")

游戏辅助

该框架还可以用于游戏辅助，例如自动执行重复性任务或优化游戏操作。以下是一个简单的游戏辅助示例：

from self_operating_computer import operate

# 初始化操作对象
operator = operate.Operator()

# 执行游戏操作
operator.click(x=500, y=500)
operator.press("space")
operator.click(x=600, y=600)
operator.press("space")

典型生态项目

GPT-4-Vision

GPT-4-Vision 是 Self-Operating Computer 框架的默认模型，它能够理解和处理屏幕上的视觉信息，从而进行精确的鼠标和键盘操作。

Ollama

Ollama 是一个支持 MacOS 和 Linux 的平台，可以用于在本地机器上运行 LLaVA 模型。以下是使用 Ollama 的步骤：

1. 安装 Ollama：

https://ollama.ai/download

2. 拉取 LLaVA 模型：

ollama pull llava

3. 启动服务器：

ollama serve

4. 使用 LLaVA 模型：

operate -m llava

通过这些步骤，你可以在本地机器上运行和测试 Self-Operating Computer 框架。