Row-Bot Computer Use 详解:AI 控制电脑桌面的 Beta 体验

原创2026-10-11 22:43:521,388 阅读

Row-Bot Computer Use 详解:AI 控制电脑桌面的 Beta 体验

Row-Bot 是一款本地优先(local-first)的 AI 助手,它的 Computer Use(电脑使用)功能可以让 AI 像人一样操作你电脑上的原生桌面应用——打开窗口、点击按钮、输入文字、滚动页面,而且默认关闭、需要你手动开启。本文带你完整体验这套 Beta 能力:如何一键安装、如何下达第一个桌面任务,以及它背后的审批与安全机制。

Row-Bot 本地优先 AI 助手与 Computer Use 桌面控制能力预览

什么是 Row-Bot Computer Use?

Computer Use 是 Row-Bot 的provider 中立的桌面应用控制工具,支持 Windows 与 macOS 原生应用。理解它的关键是三点:

  • 🖥️ 只针对原生桌面应用:网页操作请交给 Row-Bot 的 Browser 能力,Computer Use 只在任务必须操作桌面应用窗口时使用;
  • 🔒 Beta 且默认关闭:同一时间只支持一个交互式本地任务,定时任务、消息渠道、后台工作流、子代理和远程/无头会话都无法调用它;
  • 🎯 任务级独占租约(exclusive lease):Row-Bot 发现应用和窗口后,会把动作绑定到选定的目标窗口上,目标窗口关闭或变化后必须重新观察才能继续。

官方使用说明见 docs-site/docs/computer-use/index.mdx,架构与安全决策记录在 docs/COMPUTER_USE_SECURITY.md。

一键安装步骤:在设置中开启 Computer Use

开启过程完全在图形界面里完成,无需命令行:

  1. 打开 Settings › System,找到 Browser and computer use 卡片;
  2. 在 Desktop apps 区域进入 Computer Use (Beta) 设置,阅读能力与隐私摘要;
  3. 点击 Install。Row-Bot 会先展示 Cua Driver 遥测披露说明,你明确同意后才会下载;
  4. 选择 Continue 后,Row-Bot 下载对应平台的 Cua Driver 0.20.0 固定版本压缩包,校验 SHA-256 校验和后解压到私有数据目录;
  5. macOS 用户需在弹窗中授予 Accessibility 和 Screen Recording 权限,然后点击 Recheck 重新检测;
  6. 安装卡片显示 ready 后,打开 Computer Use (Beta) 开关即可。

下图是 System 设置页,可以看到 "Browser and computer use" 卡片及其状态:

Row-Bot System 设置页中 Computer Use Beta 开关与 Browser and computer use 配置卡片

💡 小提醒:Install、Repair、Reinstall、Remove 等操作只影响这个可选的驱动,Row-Bot 从不会执行上游安装器或自动更新器。

如何下达第一个桌面任务

在本地桌面的普通聊天窗口中,直接说出应用名 + 期望结果即可,例如:

  • "打开记事本,帮我新建一个文件并输入今天的待办事项"
  • "在系统设置里打开显示偏好,把分辨率改成推荐值"

Row-Bot 会依次完成:发现应用与窗口 → 获取独占任务租约 → 观察目标窗口 → 执行允许的操作(启动白名单应用、点击、输入、按键、滚动、拖拽等)。

执行过程中你始终握有"方向盘",会话卡片提供三个控制:

操作 效果
Stop 取消排队中的工作并释放会话
Take over 暂停租约,把鼠标键盘交还给你直接操作
Resume 恢复执行,但 Row-Bot 会先重新观察目标窗口

当可访问性数据不足时,Row-Bot 可能向你在 Settings 中配置的 Vision 模型发送一张临时目标窗口截图——截图字节不会写入聊天、记忆、回放历史或日志。

安全边界:哪些操作会被拦截或交给用户?

这是 Computer Use 最值得了解的部分。Row-Bot 内置一张"失败即封闭"(fail-closed)的策略表,把每个动作分为五类:观察(observation)、常规(routine)、有影响(consequential)、人工接管(handoff)、拦截(blocked),核心逻辑见 src/row_bot/computer_use/policy.py。

🚫 直接拦截:终端(Terminal、PowerShell、iTerm 等)、密码管理器(1Password、Bitwarden 等)、Row-Bot 自身界面、锁屏/安全桌面、提权弹窗、安全设置页,以及 Alt+F4、Win、Ctrl+Alt+Delete 等危险按键组合。

🤝 强制人工接管:密码、验证码(OTP/2FA/CAPTCHA)、生物识别、支付卡、系统权限弹窗等敏感内容一律交还给你。

✅ 风险点审批:发送、提交、购买、删除、转账、登出等"难以逆转"的动作,即使在 Auto 模式下也会在风险发生点弹出确认:

Row-Bot 对话中的审批卡片:高风险操作等待用户批准后才继续执行

Row-Bot 安全与隐私控制架构:策略执行、审批闸门与信任边界

隐私说明:你的数据留在本地

  • 📸 截图是临时的:受保护缩略图仅用于当前控制卡片,不持久化;
  • ⌨️ 输入内容不落盘:键入的文字不会进入日志、历史记录、审批载荷或持久记忆;
  • 📡 遥测披露透明:唯一的外部遥测来自上游 Cua Driver,只发送匿名安装/会话标识与有界的产品类别,不包含提示词、输入文本、截图、可访问性树、应用名或文件路径。完整披露文本见 src/row_bot/computer_use/readiness.py。

常见问题速查

现象 处理建议
安装提示压缩包或校验和错误 点击 Repair 后在可信网络重试
macOS 提示缺少权限 用界面上的按钮打开 Accessibility / Screen Recording 设置,授权后重启 Row-Bot 再 Recheck
想操作的应用被策略拦截 不要绕过,手动操作或换一个受支持的应用
会话显示繁忙 先 Stop 或完成当前 Computer Use 任务
目标窗口已关闭或变化 让 Row-Bot 重新获取目标后再恢复

延伸阅读:核心文件导航

想深入了解实现细节?这里列出了 Computer Use 的关键源码与文档:

Computer Use 目前是 Beta 功能,Row-Bot 团队持续在"能力"与"安全"之间收紧边界。如果你希望 AI 替你操作桌面,又不想失去对电脑的掌控权,这套"默认关闭 + 独占租约 + 风险点审批"的设计值得亲自体验一次。

登录后查看全文
row-bot