从GUI到通用智能：UI-TARS如何重新定义人机交互的未来

你是否曾梦想过电脑能像人类一样看懂屏幕、完成复杂操作？当你还在为重复的点击、输入感到烦躁时，UI-TARS已经实现了从图形用户界面（GUI）到通用智能代理（Generalized AI Agents）的跨越。本文将带你深入了解这个革命性的开源项目，看看它如何让AI真正"理解"并操控数字世界，以及这一技术将如何改变我们与机器协作的未来。读完本文，你将掌握UI-TARS的核心能力、实际应用场景，以及如何快速上手使用这一强大工具。

UI-TARS是什么：不止于界面，而是智能代理

UI-TARS（User Interface Task Automation and Reasoning System，用户界面任务自动化与推理系统）是一个开源的多模态智能代理，它建立在强大的视觉语言模型基础之上，能够在虚拟世界中执行各种复杂任务。不同于传统的脚本自动化工具，UI-TARS通过视觉理解和推理决策，真正实现了像人类一样"看懂"界面并采取行动。

UI-TARS的核心创新在于将强化学习增强的高级推理能力与视觉语言模型相结合。这使得模型在采取行动前能够进行"思考"，显著提升了其在复杂任务中的表现和适应性。最新的UI-TARS-2版本更是实现了"全能型代理"的突破，无缝整合了GUI操作、游戏、代码编写和工具使用等多种能力，为处理复杂任务提供了统一解决方案。

核心能力：超越传统GUI的智能交互

UI-TARS的强大之处在于其全面的任务执行能力，涵盖了从桌面操作到游戏竞技的广泛领域。让我们看看它在关键基准测试中的表现：

跨平台交互能力

UI-TARS支持桌面、浏览器和移动设备等多种平台的交互，在多个权威基准测试中表现卓越：

基准类型	测试项目	UI-TARS-1.5	OpenAI CUA	Claude 3.7	先前最佳
电脑使用	OSworld (100步)	42.5	36.4	28	38.1 (200步)
	Windows Agent Arena (50步)	42.1	-	-	29.8
浏览器使用	WebVoyager	84.8	87	84.1	87
	Online-Mind2web	75.8	71	62.9	71
手机使用	Android World	64.2	-	-	59.5

游戏竞技：超越人类水平的表现

令人惊讶的是，UI-TARS在多款Poki游戏中实现了100%的完美分数，远超其他AI系统：

模型	2048	cubinko	energy	free-the-key	Gem-11	hex-frvr
OpenAI CUA	31.04	0.00	32.80	0.00	46.27	92.25
Claude 3.7	43.05	0.00	41.60	0.00	0.00	30.76
UI-TARS-1.5	100.00	0.00	100.00	100.00	100.00	100.00

这种卓越表现源于UI-TARS独特的视觉理解和动作规划能力。它不仅能"看到"屏幕上的元素，还能理解游戏规则并制定长期策略。

坐标处理：精准定位的核心技术

UI-TARS能够精确解析屏幕坐标并将其转换为实际操作位置，这是实现精准交互的关键。项目提供了详细的坐标处理指南和可视化工具，帮助开发者理解模型如何将抽象坐标映射到实际屏幕位置。

坐标处理的核心代码实现于codes/ui_tars/action_parser.py文件中，其中smart_resize函数负责根据屏幕尺寸动态调整坐标比例，确保在不同分辨率下的准确定位。

快速上手：如何使用UI-TARS

使用UI-TARS非常简单，只需几个步骤即可让AI代理帮你完成各种任务：

部署与推理

UI-TARS提供了灵活的部署选项，包括Hugging Face端点部署和本地部署。详细部署指南请参考README_deploy.md文件。

安装与基本使用

通过pip或uv工具可以轻松安装UI-TARS：

pip install ui-tars
# 或
uv pip install ui-tars

基本使用示例：

from ui_tars.action_parser import parse_action_to_structure_output, parsing_response_to_pyautogui_code

# 模型输出的响应
response = "Thought: 点击按钮\nAction: click(start_box='(100,200)')"
# 原始图像尺寸
original_image_width, original_image_height = 1920, 1080

# 解析动作
parsed_dict = parse_action_to_structure_output(
    response,
    factor=1000,
    origin_resized_height=original_image_height,
    origin_resized_width=original_image_width,
    model_type="qwen25vl"
)

# 转换为PyAutoGUI代码
pyautogui_code = parsing_response_to_pyautogui_code(
    responses=parsed_dict,
    image_height=original_image_height,
    image_width=original_image_width
)

print(pyautogui_code)

选择合适的交互模板

UI-TARS提供了三种不同的提示模板，以适应不同的设备环境和任务需求：

1. COMPUTER_USE：适用于Windows、Linux或macOS等桌面环境的GUI任务，支持鼠标点击、拖拽、键盘快捷键等操作。

2. MOBILE_USE：专为移动设备或Android模拟器设计，包含长按、打开应用、返回等移动设备特有的操作。

3. GROUNDING：轻量级模板，仅输出动作指令而不包含推理过程，适用于模型训练和评估。

这些模板定义在codes/ui_tars/prompt.py文件中，你可以根据具体需求选择或自定义模板。

应用场景：从日常办公到游戏开发

UI-TARS的应用潜力几乎无限，以下是几个典型场景：

自动化办公流程

UI-TARS可以自动完成数据录入、报表生成、邮件处理等重复性工作，大幅提高办公效率。例如，它可以读取网页数据，自动填写表单，甚至根据数据分析生成图表。

游戏开发与测试

凭借其卓越的游戏能力，UI-TARS可以作为游戏开发的辅助工具，自动测试游戏关卡、发现潜在问题，甚至为游戏AI提供参考策略。

无障碍访问

对于行动不便的用户，UI-TARS可以作为智能助手，通过语音指令完成各种电脑操作，极大改善数字无障碍体验。

教育与培训

UI-TARS可以模拟各种软件操作流程，作为交互式教学工具，帮助用户快速掌握复杂软件的使用方法。

性能对比：小模型，大能力

你可能会惊讶于UI-TARS在仅70亿参数规模下就能实现如此出色的性能。以下是不同模型规模在OSWorld基准测试中的表现对比：

基准类型	测试项目	UI-TARS-72B-DPO	UI-TARS-1.5-7B	UI-TARS-1.5
电脑使用	OSWorld	24.6	27.5	42.5
GUI定位	ScreenSpotPro	38.1	49.6	61.6

这一结果证明了UI-TARS架构设计的高效性，即使是较小的模型也能通过优化的推理机制实现卓越性能。

未来展望：迈向通用智能代理

UI-TARS的发展不会止步于当前的成就。团队正在致力于将其发展成为更加复杂的智能代理系统，能够执行现实世界中的各种任务。未来的UI-TARS可能会：

1. 具备更强的环境适应性：能够应对从未见过的界面和应用程序。

2. 拥有更长的任务规划能力：处理需要多步骤、长时间执行的复杂任务。

3. 实现多模态交互：整合语音、手势等多种输入方式，提供更自然的人机交互体验。

4. 增强安全性和可控性：通过内置安全机制防止滥用，确保AI行为符合人类价值观。

研究人员可以通过联系[e-mail]获取UI-TARS-1.5模型的早期研究访问权限，共同推动通用智能代理的发展。

结语：人机协作的新纪元

UI-TARS代表了人机交互的新范式，它不再局限于预定义的指令，而是能够真正"理解"界面并自主决策。从简单的点击操作到复杂的游戏策略，UI-TARS展示了AI代理在数字世界中执行任务的巨大潜力。

随着技术的不断进步，我们可以期待UI-TARS及类似系统在未来几年内彻底改变我们与计算机交互的方式。无论是提高工作效率、改善无障碍访问，还是开拓新的娱乐形式，UI-TARS都为我们打开了一扇通往更智能、更自然的人机协作未来的大门。

现在就通过以下步骤开始你的UI-TARS之旅：

1. 克隆项目仓库：git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS
2. 阅读README.md了解更多详情
3. 参考部署指南设置你的第一个智能代理

点赞收藏本文，关注项目更新，一起见证AI交互技术的未来发展！