革命性GUI Agent工具UI-TARS-desktop：让自然语言控制电脑成为现实

你是否还在为繁琐的电脑操作步骤感到困扰？是否希望能用日常对话的方式轻松控制电脑完成各种任务？UI-TARS-desktop正是为解决这些痛点而生的革命性工具。作为一款基于UI-TARS（Vision-Language Model，视觉语言模型）的GUI Agent（图形用户界面智能体）应用，它让你通过自然语言指令控制电脑成为现实。读完本文，你将了解如何快速上手这款工具，掌握其核心功能和使用技巧，开启高效智能的电脑使用新体验。

项目概述

UI-TARS-desktop是一个原生GUI智能体应用，它能够让你通过自然语言指令控制本地计算机。该项目基于UI-TARS模型和Seed-1.5-VL/1.6系列模型构建，旨在为用户提供一种更自然、更智能的人机交互方式。

核心功能

UI-TARS-desktop具备以下核心特性：

• 🤖 由视觉语言模型驱动的自然语言控制
• 🖥️ 截图和视觉识别支持
• 🎯 精确的鼠标和键盘控制
• 💻 跨平台支持（Windows/MacOS/浏览器）
• 🔄 实时反馈和状态显示
• 🔐 隐私安全 - 完全本地处理

项目官方文档：README.md

快速开始

系统要求

在开始使用UI-TARS-desktop之前，请确保你的系统满足以下要求：

• 安装Chrome（稳定版）、Edge（稳定版）或Firefox（稳定版）浏览器，以支持浏览器操作功能。
• 当前UI-TARS-desktop仅支持单显示器设置，多显示器配置可能导致某些任务失败。

下载与安装

下载

你可以从项目的发布页面下载UI-TARS Desktop的最新版本。

如果你已安装Homebrew，可以通过以下命令安装UI-TARS Desktop：

brew install --cask ui-tars

MacOS安装

1. 将UI TARS应用拖入应用程序文件夹

2. 在MacOS中为UI TARS启用权限：

   • 系统设置 -> 隐私与安全性 -> 辅助功能
   • 系统设置 -> 隐私与安全性 -> 屏幕录制

3. 打开UI TARS应用，你将看到以下界面：

Windows安装

运行安装程序后，你将看到以下界面：

详细安装指南：快速开始

模型配置与运行

UI-TARS-desktop支持多种模型配置，以下是两种常用的配置方式：

UI-TARS-1.5 on Hugging Face

1. 在Hugging Face页面点击右上角的Deploy from Hugging Face按钮

2. 选择模型UI-TARS-1.5-7B

3. 参考README_deploy.md获取详细部署说明，以获得Base URL、API Key和Model Name。

4. 打开UI-TARS Desktop应用的设置并配置：

Language: en
VLM Provider: Hugging Face for UI-TARS-1.5
VLM Base URL: https:xxx
VLM API KEY: your_api_key
VLM Model Name: xxx

[!NOTE]

1. 对于VLM Provider，请确保选择"Hugging Face for UI-TARS-1.5"以确保正确的VLM Action解析。
2. 关于VLM Base URL和VLM Model Name，你可以查看Hugging Face端点页面获取详细信息。请确保Base URL以'/v1/'结尾。

5. 点击按钮开始新的对话

6. 输入命令开始一轮GUI操作任务！

Doubao-1.5-UI-TARS on VolcEngine

1. 访问VolcEngine Doubao-1.5-UI-TARS页面

2. 点击页面右上角的Try (立即体验)按钮

3. 点击API inference (API 接入)链接

4. 从抽屉面板的STEP 1中获取你的API Key

5. 在STEP 2中，验证你的用户信息并切换到OpenAI SDK选项卡以获取Base Url和Model name：

6. 打开UI-TARS Desktop应用的设置并配置：

Language: cn
VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS
VLM Base URL: https://ark.cn-beijing.volces.com/api/v3
VLM API KEY: YOUR_API_KEY
VLM Model Name: doubao-1.5-ui-tars-250328

[!NOTE] 对于VLM Provider，请确保选择"VolcEngine Ark for Doubao-1.5-UI-TARS"以确保正确的VLM Action解析。

7. 开始新对话前选择所需的使用场景

[!NOTE] 在使用Browser Operator模式之前，请确保你的设备上已安装Chrome、Edge或Firefox浏览器。

8. 输入命令开始一轮GUI操作任务！

使用场景展示

UI-TARS-desktop能够处理各种复杂的GUI操作任务，以下是一些典型的使用场景：

本地计算机操作

你可以通过自然语言指令让UI-TARS-desktop帮你完成各种桌面操作任务。例如："请帮我打开VS Code的自动保存功能，并将自动保存操作延迟500毫秒"。

浏览器操作

UI-TARS-desktop还可以控制浏览器完成各种网页操作。例如："请帮我查看GitHub上UI-TARS-Desktop项目的最新开放issue"。

工作流程自动化

通过组合多个操作，UI-TARS-desktop可以帮助你自动化完成整个工作流程。例如，从网页获取数据，在本地应用中处理，然后生成报告并发送邮件。

更多使用案例，请查看项目的展示页面。

进阶配置

系统设置

UI-TARS-desktop提供了丰富的设置选项，让你可以根据自己的需求定制应用行为。你可以配置语言、VLM提供商、API密钥等参数。

详细设置指南：设置配置指南

预设配置

为了提高使用效率，UI-TARS-desktop支持预设配置功能。你可以创建不同场景的预设，以便快速切换工作环境。

预设配置文件示例：examples/presets/default.yaml

预设使用指南：预设指南

总结与展望

UI-TARS-desktop作为一款革命性的GUI Agent工具，通过自然语言控制电脑的方式极大地简化了人机交互过程。它不仅支持本地计算机操作，还能控制浏览器完成各种网页任务，为用户提供了一种全新的、高效的电脑使用体验。

随着AI技术的不断发展，我们有理由相信UI-TARS-desktop将在未来提供更强大、更智能的功能。无论是日常办公、学习还是娱乐，UI-TARS-desktop都能成为你得力的数字助手，帮助你更轻松地完成各种复杂任务。

如果你对项目感兴趣，欢迎通过以下方式参与社区交流：

• 贡献指南
• 飞书交流群：加入交流群

立即体验UI-TARS-desktop，开启你的智能电脑控制之旅！别忘了点赞、收藏本文，关注项目更新，获取最新功能和使用技巧。