自然语言操控电脑成为现实：字节跳动UI-TARS桌面版正式开源，附完整部署指南

2025年1月23日，字节跳动对外发布了基于视觉语言模型的GUI代理应用——UI-TARS Desktop，该工具突破性地实现了通过自然语言指令控制电脑操作的功能。这款跨平台应用融合了先进的视觉识别与自然语言处理技术，能够精准解析用户文本指令并转化为实际操作，为提升人机交互效率开辟了全新路径。

作为新一代智能桌面助手，UI-TARS Desktop的核心优势在于其"看懂屏幕+理解语言"的双重能力。系统通过实时捕获屏幕内容进行视觉分析，结合上下文语义理解生成操作序列，最终通过精准的鼠标键盘控制完成任务执行。目前该应用已实现Windows和MacOS双平台支持，用户可通过直观的状态面板实时监控指令执行进度，确保每一步操作的可追溯性与准确性。

在功能实现上，UI-TARS Desktop构建了完整的自然交互闭环。其核心特性包括：支持中文、英文等多语种自然语言指令解析；具备实时屏幕内容识别与界面元素定位能力；提供亚像素级的鼠标移动控制与键盘事件模拟；兼容主流操作系统的权限管理机制；内置多级操作确认机制防止误执行。这些特性共同确保了从指令输入到操作完成的全流程智能化。

实际应用场景中，UI-TARS展现出强大的任务处理能力。例如用户输入"使用浏览器查询上海今日天气"，系统会自动打开默认浏览器、定位搜索框、输入查询内容并提取显示结果；当指令为"发送包含'AI改变生活'的微博"时，应用将完成启动客户端、登录验证、内容编辑到发布确认的全流程操作。这种端到端的任务自动化能力，极大降低了复杂操作的执行门槛。

如上图所示，这是MacOS用户首次安装可能遇到的应用验证提示窗口。该现象源于系统安全机制对未签名应用的限制，图片中展示的错误处理界面，为用户提供了排查安装问题的重要参考，帮助快速定位"应用损坏"类问题的解决方向。

MacOS用户在完成基础安装后，需进行关键的权限配置。首先将下载的应用程序拖拽至应用程序文件夹，对于出现"应用损坏"提示的用户，可通过终端执行sudo xattr -dr com.apple.quarantine /Applications/UI\ TARS.app命令解除系统隔离。随后在系统设置的"隐私与安全"面板中，依次授予应用"辅助功能"和"屏幕录制"权限，这两项权限是确保应用能够捕获屏幕内容并模拟用户操作的基础。完成配置后启动应用，将看到包含指令输入框、执行日志和状态指示器的主操作界面。

Windows系统用户则可通过安装程序完成基础部署，过程中需注意在用户账户控制窗口允许应用的设备访问权限。特别需要在"设置-隐私和安全性-应用权限"中开启"屏幕捕获"和"输入模拟"权限，确保应用能够正常获取屏幕内容并执行键鼠操作。安装完成后，应用将自动创建桌面快捷方式，首次启动时会引导用户完成必要的初始化配置。

该图片清晰展示了MacOS系统中权限配置的关键步骤。左侧弹窗显示应用请求屏幕录制权限的即时状态，右侧系统设置界面则标注了具体的权限开启位置。这一视觉指南对用户顺利完成安装流程至关重要，直接关系到应用核心功能的正常启用。

模型部署提供云端和本地两种方案。云端部署推荐使用HuggingFace Inference Endpoints，官方提供中英文双语部署文档，详细说明环境配置、模型加载和API接口调用流程。本地部署则建议采用vLLM框架以获得最佳性能，需先安装vllm 0.6.1及以上版本，通过pip install -U transformers更新依赖库后，执行VLLM_VERSION=0.6.6 CUDA_VERSION=cu124 pip install vllm==${VLLM_VERSION} --extra-index-url https://download.pytorch.org/whl/${CUDA_VERSION}完成核心组件安装。

模型下载支持多种规格选择，包括2B、7B和72B参数的SFT版本与DPO版本，其中7B-DPO模型在性能与资源占用间取得最佳平衡，推荐普通用户优先选用。通过GitCode仓库克隆模型文件后，执行python -m vllm.entrypoints.openai.api_server --served-model-name ui-tars --model <模型路径>启动API服务，最后在应用设置界面填写服务端点信息即可完成系统对接。

UI-TARS Desktop的开源发布，标志着自然语言桌面自动化技术进入实用阶段。随着模型能力的持续进化和生态系统的不断完善，我们有理由相信，这种"所想即所得"的交互方式将重塑人机协作模式。对于开发者而言，该项目提供了研究视觉语言模型落地应用的宝贵实践案例；普通用户则可借此体验前沿AI技术带来的操作便利。未来随着多模态交互能力的增强，UI-TARS有望成为连接用户与数字世界的重要入口。