taskhomie双模式深度解析:Computer Use接管桌面 vs Background后台自动化,如何选?
taskhomie双模式深度解析:Computer Use接管桌面 vs Background后台自动化,如何选?
Taskhomie(computer-agent)是一个基于 Tauri + Rust + React 构建的本地 AI 桌面助手,可以用自然语言指挥 AI 控制你的电脑——截屏、移动鼠标、点击、输入、执行终端命令。它提供两种完全不同的工作模式:Computer Use(接管桌面) 与 Background(后台自动化)。选对模式,是让它又快又稳干活的关键。本文带你深度解析两种模式的原理与适用场景,帮你 30 秒做出选择。
Taskhomie 是什么?
一句话:给 AI 一双手。你用自然语言下指令,它在本地执行,全程无需把屏幕数据上传到不可控的第三方。
核心技术栈:
| 层 | 技术 |
|---|---|
| 前端 | React + TypeScript + Tailwind + Zustand |
| 后端 | Rust + Tauri 2 + Tokio |
| AI 模型 | Haiku / Sonnet / Opus(界面内可选) |
两种模式在代码中由 AgentMode 枚举定义,分别对应 Computer 与 Browser 两条执行链路,定义见 agent.rs。
Computer Use 模式:AI 接管你的屏幕
原理:AI 通过截图"看"到你看到的一切,然后直接驱动真实的鼠标和键盘。这是一个"截屏 → 决策 → 执行动作 → 再截屏"的循环。
核心特点:
- 全桌面视野:跨应用操作,比如"把邮件里的附件拖到桌面"这类跨 App 任务
- 所见即所得:它操作的就是你的真实光标,过程完全可视
- 执行细节:截图压缩为 JPEG(质量 60),缩放到 1280×800 送入模型,实现见 computer.rs;鼠标键盘动作由
enigo库完成 - macOS 需要授权辅助功能权限(系统设置 → 隐私与安全性 → 辅助功能)
适用场景:任务跨多个应用、需要完整桌面访问权限、你可以暂时离开电脑。
⚠️ 注意:它真的会动你的鼠标。运行期间请尽量不要同时操作电脑。
Background 模式:后台静默自动化
原理:不碰你的鼠标键盘,走两条"暗线":
- 网页任务 → 通过 Chrome DevTools Protocol(CDP)直接操作浏览器,实现见 browser.rs。AI 用
see_page获取页面元素快照、用page_action点击/输入、用browser_navigate管理标签页,工具定义见 api.rs - 其他任务 → 直接走终端(bash)执行命令,实现见 bash.rs
核心特点:
- 零干扰:你可以边用电脑边让它跑,完全不抢占输入设备
- 更快更稳:网页操作用元素 ID 精确定位(如
3_42),比"看图找坐标"更可靠 - 自动处理 Chrome 状态:检测到浏览器未开调试端口时会自动重启连接,逻辑在 agent.rs
适用场景:批量网页操作(填表、抓取、下单)、终端脚本类任务、你希望保持正常工作的长任务。
两种模式怎么选?一张表看懂
| 维度 | Computer Use | Background |
|---|---|---|
| 操作方式 | 截图 + 真实鼠标键盘 | CDP 协议 + 终端 |
| 能否跨应用 | ✅ 任意应用 | ⚠️ 仅浏览器和终端 |
| 是否占用你的输入设备 | 会 | 不会 |
| 速度与可靠性 | 依赖视觉识别,稍慢 | 元素级定位,更快更稳 |
| 典型任务 | 拖拽文件、跨 App 流程 | 网页自动化、批量终端操作 |
| 前置条件 | macOS 需授权辅助功能 | 需 Chrome 可调试连接 |
决策口诀:
- 任务在浏览器 + 终端里能完成 → 选 Background(快、稳、不抢鼠标)
- 任务跨越多个桌面应用 → 选 Computer Use(唯一选择)
- 需要边干活边让它跑 → 只能选 Background
用快捷键切换模式
Taskhomie 用全局快捷键控制,两种模式各有一个"按住说话"入口:
| 快捷键 | 功能 |
|---|---|
⌃⇧C |
按住说话 → Computer Use 模式 |
⌃⇧B |
按住说话 → Background 模式 |
⌘⇧H |
帮助模式(截图 + 快捷提问) |
⌘⇧S |
立即停止 Agent |
快捷键的注册与分发逻辑在 main.rs,其中 ⌘⇧S 停止信号通过 running 原子标志位在每一轮循环中检查,实现"随时叫停"。
总结
Taskhomie 的双模式设计很务实:Computer Use 覆盖广度(整个桌面都是它的地盘),Background 追求效率(该走协议的走协议,该走终端的走终端)。新手建议先试 Background 模式处理网页和终端任务,遇到跨应用难题再切换到 Computer Use——这样既能享受自动化红利,又不会被抢走鼠标。
相关资源
- 双模式执行主循环:src-tauri/src/agent.rs
- 桌面控制与截图:src-tauri/src/computer.rs
- 浏览器自动化(CDP):src-tauri/src/browser.rs
- 工具定义与系统提示词:src-tauri/src/api.rs
- 项目说明:README.md
