自然语言交互与桌面自动化：UI-TARS-desktop全流程实践指南

定位核心价值

UI-TARS-desktop是一款基于视觉-语言模型的GUI代理（图形用户界面代理）应用，它通过自然语言指令实现对计算机的智能控制。该工具将AI技术与直观操作界面结合，支持本地计算机控制和浏览器自动化两大核心场景，适用于需要简化复杂操作流程的办公人群和技术爱好者。

验证环境兼容性

系统要求核对

• 操作系统：Windows 10/11、macOS 10.15+或Linux（Ubuntu 20.04+）
• 基础依赖：Node.js 14.0.0+、Git 2.30.0+、Python 3.7+（可选，部分依赖需要）

环境检查步骤（预计5分钟）

1. 打开终端执行版本检查命令：

node --version  # 验证Node.js版本
git --version   # 验证Git安装
python3 --version  # 验证Python环境（如使用）

2. 记录各工具版本号，确保满足最低要求

思考提示：不同操作系统的依赖安装方式存在差异，例如macOS使用Homebrew，Linux使用apt，Windows则需要手动安装。你的系统属于哪种类型？

优化部署流程

获取项目代码（预计2分钟）

git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop
cd UI-TARS-desktop

依赖安装策略（预计8分钟）

推荐使用pnpm提升安装效率：

# 如未安装pnpm，先执行：npm install -g pnpm
pnpm install --shamefully-hoist  # 解决依赖嵌套问题

参数说明：--shamefully-hoist强制将所有依赖提升到node_modules根目录，避免Electron环境的模块查找问题

构建应用程序（预计10分钟）

npm run build  # 全量构建项目

构建完成后，应用程序包将生成在dist目录下。

图1：macOS系统中将UI-TARS拖拽至应用程序文件夹完成安装

定制交互模式

启动应用程序（预计1分钟）

npm run start  # 开发模式启动
# 或运行对应系统的可执行文件：
# macOS: open dist/mac/UI-TARS.app
# Windows: dist/win-unpacked/UI-TARS.exe

首次启动将显示功能选择界面，提供两种核心操作模式：

• Computer Operator：控制本地计算机完成文件管理、应用操作等任务
• Browser Operator：自动化浏览器行为，如网页导航、表单填写等

图2：应用主界面展示两种操作模式选择

访问设置界面（预计2分钟）

1. 点击左侧导航栏底部的⚙️ Settings按钮
2. 配置面板包含三大核心选项：
   • 模型参数：调整推理精度与响应速度
   • 权限管理：设置文件系统访问范围
   • 界面主题：切换明暗模式与布局样式

图3：主界面左侧底部的设置入口

思考提示：根据你的使用场景，哪些权限是必须开启的？例如文件操作需要文件系统访问权限。

探索功能场景

任务执行流程（预计3分钟）

1. 在输入框中输入自然语言指令（如"帮我整理下载文件夹中的图片"）
2. 系统自动解析指令并生成操作步骤
3. 实时显示执行进度与中间结果

图4：Local Computer Operator模式下的指令输入界面

结果验证方式

任务完成后，系统会生成包含以下信息的报告：

• 操作步骤详情
• 执行耗时统计
• 结果截图与文件路径

图5：任务成功完成后的报告界面，包含结果链接

解决常见问题

依赖安装失败

• 网络问题：配置npm镜像源npm config set registry https://registry.npmmirror.com
• 版本冲突：使用npm install --legacy-peer-deps忽略 peer dependencies 检查
• 权限不足：macOS/Linux添加sudo前缀，Windows使用管理员终端

应用启动异常

• 模块缺失：删除node_modules文件夹后重新安装依赖
• 端口占用：检查是否有其他应用占用3000/5000端口
• 系统权限：在"系统偏好设置-安全性与隐私"中允许应用运行

思考提示：遇到问题时，首先查看终端输出的错误信息，通常能准确定位问题原因。你最近一次解决依赖问题用了什么方法？

应用扩展建议

1. 预设模板：在examples/presets/目录下提供常用任务模板
2. 快捷键配置：自定义指令触发热键提高操作效率
3. 插件开发：通过packages/agent-infra/扩展支持更多应用程序

通过本指南，你已掌握UI-TARS-desktop的核心使用流程。这款工具的价值不仅在于简化操作，更在于开创了一种全新的人机交互方式。随着使用深入，建议逐步尝试复杂任务组合，充分发挥自然语言交互的优势。