UFO：Windows操作系统上的UI聚焦代理框架

项目介绍

UFO（UI-Focused Agent for Windows OS Interaction）是一个专为Windows操作系统设计的UI聚焦多代理框架。它能够无缝地在单个或多个应用程序之间导航和操作，以满足用户的请求。UFO通过结合GPT-Vision的多模态能力，理解应用程序的用户界面，并执行相应的操作，从而实现复杂的任务自动化。

项目技术分析

UFO框架由三个主要组件构成：

1. HostAgent 🤖：负责选择应用程序以满足用户请求，并在任务跨多个应用程序时切换应用程序。
2. AppAgent 👾：负责在选定的应用程序中迭代执行操作，直到任务成功完成。
3. Application Automator 🎮：将HostAgent和AppAgent的操作转换为与应用程序的交互，通过UI控件、本地API或AI工具实现。

UFO利用GPT-Vision的多模态能力来理解应用程序的UI，并通过Retrieval Augmented Generation（RAG）从异构源（如离线帮助文档、在线搜索引擎和人类演示）中获取信息，使其成为一个应用程序“专家”。

项目及技术应用场景

UFO适用于以下场景：

• 自动化办公：自动执行重复性任务，如文档处理、数据输入等。
• 复杂任务处理：跨多个应用程序完成复杂任务，如数据分析、报告生成等。
• 用户支持：通过自动化操作提供实时用户支持，减少人工干预。
• 应用程序开发：帮助开发者自动化测试和调试过程，提高开发效率。

项目特点

• 首个Windows代理：UFO是首个能够将自然语言用户请求转换为Windows操作系统上可操作操作的代理框架。
• 丰富的技能集：UFO具备多种技能，支持全面的自动化，如鼠标、键盘、本地API和“Copilot”。
• 交互模式：UFO支持在同一会话中处理多个子请求，实现复杂任务的无缝完成。
• 代理定制化：用户可以根据需要定制自己的代理，代理会在必要时主动向用户查询详细信息，以更好地定制其行为。
• 可扩展的AppAgent创建：UFO提供可扩展性，允许用户和应用程序开发者轻松创建自己的AppAgent。

开始使用

安装步骤

UFO需要Python >= 3.10并在Windows OS >= 10上运行。可以通过以下命令安装：

# 可选：创建conda环境
# conda create -n ufo python=3.10
# conda activate ufo

# 克隆仓库
git clone https://github.com/microsoft/UFO.git
cd UFO
# 安装依赖
pip install -r requirements.txt
# 如果你想使用Qwen作为你的LLMs，请取消相关库的注释。

配置LLMs

在运行UFO之前，你需要为HostAgent和AppAgent分别提供LLM配置。你可以通过复制ufo/config/config.yaml.template并编辑ufo/config/config.yaml文件来创建自己的配置文件。

OpenAI

VISUAL_MODE: True, # 是否使用视觉模式
API_TYPE: "openai" , # API类型，"openai"表示OpenAI API。
API_BASE: "https://api.openai.com/v1/chat/completions", # OpenAI API端点。
API_KEY: "sk-",  # OpenAI API密钥，以sk-开头
API_VERSION: "2024-02-15-preview", # 默认值为"2024-02-15-preview"
API_MODEL: "gpt-4-vision-preview",  # 仅支持的OpenAI模型

Azure OpenAI (AOAI)

VISUAL_MODE: True, # 是否使用视觉模式
API_TYPE: "aoai" , # API类型，"aoai"表示Azure OpenAI。
API_BASE: "YOUR_ENDPOINT", # AOAI API地址。格式：https://{your-resource-name}.openai.azure.com
API_KEY: "YOUR_KEY",  # AOAI API密钥
API_VERSION: "2024-02-15-preview", # 默认值为"2024-02-15-preview"
API_MODEL: "gpt-4-vision-preview",  # 仅支持的OpenAI模型
API_DEPLOYMENT_ID: "YOUR_AOAI_DEPLOYMENT", # AOAI API的部署ID

你还可以为每个代理设置非视觉模型（如GPT-4），通过设置VISUAL_MODE: False和适当的API_MODEL（openai）和API_DEPLOYMENT_ID（aoai）。

UFO不仅是一个强大的自动化工具，更是一个能够理解和适应用户需求的智能代理。无论你是开发者还是普通用户，UFO都能为你提供高效、智能的操作体验。立即尝试UFO，体验Windows操作系统上的全新自动化时代！