三步掌握UI-TARS本地部署：零依赖极速体验GUI自动化

价值定位：为什么选择本地部署UI-TARS？

在GUI自动化测试领域，响应速度、数据安全和成本控制是三大核心诉求。UI-TARS作为视觉语言模型驱动的自动化工具，通过本地部署可实现：

• ⚡ 响应速度提升80%：摆脱云端网络延迟，实现毫秒级指令解析
• 🔒 数据隐私完全可控：敏感界面截图和操作指令无需上传云端
• 💸 零额外算力成本：充分利用本地硬件资源，避免持续云端付费

UI-TARS的核心优势在于其独特的视觉指令解析架构，通过codes/ui_tars/action_parser.py模块实现从自然语言到可执行代码的直接转换，配合智能坐标缩放算法，确保在不同设备上的操作准确性。

环境构建：从零开始的准备工作

硬件要求

• 最低配置：8GB内存 + 集成显卡（适合基础功能验证）
• 推荐配置：16GB内存 + NVIDIA GPU（支持CUDA加速，提升推理速度）

软件依赖

• Python 3.8及以上版本
• Git版本控制工具
• pip或uv包管理工具（推荐uv获得更快安装体验）

项目获取

通过以下命令克隆官方仓库：

git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS
cd UI-TARS

项目核心代码位于codes/目录，包含模型解析模块和自动化测试脚本。数据处理示例可参考data/test_messages.json中的交互样本。

图1：UI-TARS本地部署性能对比，展示在多个基准测试中的相对提升（alt文本：UI-TARS本地部署性能优势对比）

⚠️ 注意：确保系统已安装显卡驱动（如使用NVIDIA GPU），推荐CUDA 11.7及以上版本以获得最佳加速效果。

部署实战：三步完成本地部署

第一步：环境配置

进入项目代码目录并安装依赖：

cd codes
# 使用uv安装（推荐）
uv pip install .
# 或使用传统pip
pip install .

💡 技巧：如果遇到依赖冲突，可使用uv pip install --force-reinstall .强制重新安装所有依赖包，依赖清单详见codes/uv.lock。

第二步：模型准备

1. 创建模型存放目录：

mkdir -p codes/models

2. 从模型仓库下载UI-TARS模型权重文件，保存至codes/models/目录

第三步：功能验证

创建测试脚本验证部署是否成功：

from ui_tars.action_parser import parse_action_to_structure_output

# 模拟模型输出的操作指令
model_response = "Thought: 点击设置按钮\nAction: click(start_box='(197,525)')"

# 解析并转换坐标（适配当前屏幕分辨率）
result = parse_action_to_structure_output(
    text=model_response,
    factor=1000,
    origin_resized_height=1080,  # 原始图像高度
    origin_resized_width=1920,   # 原始图像宽度
    model_type="qwen25vl"        # 使用的模型类型
)

print("解析结果:", result)

运行脚本后，若能正确输出解析后的坐标信息，则说明本地部署成功。

图2：UI-TARS本地部署坐标转换流程，展示从模型输出到屏幕坐标的映射过程（alt文本：UI-TARS本地部署坐标处理流程）

问题解决：常见故障与优化建议

坐标偏移问题

如果点击位置与预期不符，检查以下几点：

1. 确保原始图像分辨率参数与实际截图一致
2. 调整缩放因子(factor)使其与模型训练时保持一致
3. 检查操作系统显示设置，建议将缩放比例设为100%

性能优化建议

• 启用GPU加速：安装对应CUDA版本的PyTorch
• 图像分辨率调整：在不影响识别的前提下降低输入图像尺寸
• 模型缓存：对重复界面场景缓存解析结果，减少重复计算

扩展阅读

• 坐标转换算法细节：codes/tests/inference_test.py
• 部署文档：README_deploy.md
• 坐标系统说明：README_coordinates.md

进阶使用与贡献指南

三个进阶使用场景

1. 批量测试自动化：结合pytest框架实现多场景批量测试
2. 自定义操作解析：修改action_parser.py添加新的操作类型
3. 多模型对比：在同一测试集上比较不同模型的性能表现

项目贡献指南

UI-TARS欢迎社区贡献，您可以通过以下方式参与：

• 提交bug修复或功能改进的Pull Request
• 在issue中反馈使用问题或提出新功能建议
• 完善文档或添加新的测试案例

互动问题

您在本地部署UI-TARS时遇到了哪些挑战？最希望UI-TARS增加哪些功能？欢迎在项目issue中分享您的使用体验和建议！