智能助手应用使用指南：语音控制与高效操作全攻略

智能助手应用是一款基于视觉语言模型的AI工具，通过自然语言指令实现对电脑的智能控制。本指南将系统介绍如何配置和使用这一语音操控效率工具，帮助用户快速掌握从环境搭建到高级功能的全流程操作。

一、功能概述：重新定义人机交互方式

智能助手应用通过融合视觉识别与自然语言处理技术，实现了三大核心功能：本地计算机操作控制、远程浏览器自动化，以及多模态交互体验。该应用采用模块化架构设计，主要包含以下功能模块：

• 核心控制模块：apps/ui-tars/src/main/
• 用户界面组件：apps/ui-tars/src/renderer/
• 预设配置系统：examples/presets/
• 多模态处理引擎：multimodal/

适用场景涵盖日常办公自动化、网页操作自动化、重复性任务处理等，特别适合需要频繁进行界面操作的用户提升工作效率。

二、环境准备：系统配置与安装步骤

2.1 安装前准备

在开始安装前，请确保您的系统满足以下要求：

• Windows 10/11 64位系统或macOS 12+版本
• 至少4GB内存和2GB可用磁盘空间
• 稳定的网络连接（用于模型下载和更新）

2.2 Windows系统安装流程

1. 从项目仓库获取安装包：

   git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop
   

2. 运行安装程序，当出现Windows Defender SmartScreen警告时，点击"仍要运行"继续安装：

3. 按照安装向导指示完成安装，系统会自动创建桌面快捷方式。

2.3 macOS系统安装与权限配置

1. 下载并打开DMG文件，将应用拖拽至"应用程序"文件夹：

2. 首次启动应用时，需要在系统设置中授予必要权限：
   • 打开"系统设置" → "隐私与安全性" → "辅助功能"，启用UI-TARS
   • 在"屏幕录制"选项中同样启用UI-TARS权限

⚠️ 注意：必须同时启用辅助功能和屏幕录制权限，否则应用无法正常工作。

三、核心功能：从基础设置到任务执行

3.1 进入设置界面

启动应用后，点击左下角的"Settings"图标进入配置界面：

3.2 模型服务配置

3.2.1 Hugging Face模型部署

1. 访问Hugging Face平台，点击"Deploy from Hugging Face"按钮：

2. 输入模型仓库名称"UI-TARS-1.5-7B"并选择适当的计算资源配置。

💡 技巧：对于普通任务，选择CPU配置即可满足需求；复杂视觉任务建议使用GPU加速。

3.2.2 基础URL配置

部署完成后，在应用设置中配置模型服务端点：

将Hugging Face提供的Endpoint URL复制到应用设置中的"Base URL"字段。

3.2.3 API密钥配置

对于需要认证的模型服务，需配置API密钥：

在火山引擎控制台创建API Key后，将其复制到应用的对应配置项中。

3.3 任务执行流程

3.3.1 文本指令输入

在聊天窗口输入具体任务指令，例如："帮我检查UI-TARS-Desktop项目在GitCode上的最新开放issues"

3.3.2 语音控制功能

点击麦克风图标启用语音输入，直接通过语音下达操作指令：

💡 技巧：使用简洁明确的指令可以提高识别准确率，例如"打开浏览器并搜索天气"比"我想知道今天天气怎么样，你能帮我查一下吗"效果更好。

四、进阶技巧：提升效率的高级配置

4.1 预设管理

预设功能允许用户保存和复用配置，支持两种导入方式：

4.1.1 本地文件导入

适用场景：企业内部共享标准化配置，或个人在多台设备间同步设置。

4.1.2 远程URL导入

启用"Auto update on startup"选项可实现预设配置的自动更新。

4.2 报告导出与分享

任务完成后，可将结果导出为HTML报告：

导出成功后，系统会自动生成可分享链接：

4.3 性能优化参数设置

参数	推荐值	适用场景
最大循环次数	50	简单任务
最大循环次数	150	复杂任务
Use Responses API	启用	所有场景
操作模式	本地	敏感数据处理
操作模式	远程	资源密集型任务

五、问题解决：常见故障排查指南

5.1 安装与启动问题

症状：macOS提示"应用已损坏"

• 解决方案：在终端执行以下命令

  xattr -cr /Applications/UI-TARS.app
  

症状：Windows安装后无桌面快捷方式

• 解决方案：手动创建快捷方式，目标路径为

  C:\Program Files\UI-TARS\UI-TARS.exe
  

5.2 配置错误排查流程

1. 验证API密钥是否正确

   • 检查是否包含多余空格
   • 确认密钥未过期

2. 测试Base URL连通性

   • 使用curl命令测试端点可达性

   curl -I https://your-endpoint-url
   

3. 检查模型名称匹配度

   • 确保与部署的模型版本完全一致

5.3 模型连接失败处理

网络问题：

• 检查防火墙设置，确保应用可以访问互联网
• 尝试切换网络环境，排除网络限制

服务状态：

• 登录Hugging Face查看服务是否运行正常
• 检查资源配额是否充足

配置验证：

• 点击"Check Model Availability"按钮验证连接
• 查看应用日志获取详细错误信息

六、技术资源与扩展

6.1 项目结构概览

• 应用核心：apps/ui-tars/
• 官方文档：docs/
• 示例配置：examples/
• 开发工具：infra/

6.2 扩展资源

• 自定义操作开发指南：docs/sdk.md
• 高级预设配置：examples/enhanced-runtime-settings.config.ts
• 多模态模型训练：multimodal/

通过本指南，您已掌握智能助手应用的完整使用方法。合理利用这些功能将显著提升您的工作效率，减少重复性操作带来的时间消耗。如需进一步了解高级功能或遇到技术问题，请参考项目文档或提交issue反馈。