让Codex直接操控你的电脑:Remote AI Skills市场与Computer Use电脑助手插件完全指南
让Codex直接操控你的电脑:Remote AI Skills市场与Computer Use电脑助手插件完全指南
Remote AI(原 Codex Switch)是一款面向 Codex 的图形化 AI 编程工作台,内置 Skills 市场 和 Computer Use 电脑助手插件:前者让你一键安装、搜索社区 Skill 与官方插件,后者通过 CUA Driver 让 Codex GUI 直接"看见"你的屏幕,完成点击、输入和截图等真实桌面操作。本指南带你快速上手,几分钟内让 Codex 替你操作电脑。
一、Skills 市场是什么?
打开 Remote AI 桌面端,进入 Skills 市场,你会看到三个标签页(见 types.ts 中的 community / official / prompt):
| 标签页 | 用途 | 典型内容 |
|---|---|---|
| 社区插件 | 安装/卸载/启停社区发布的 Skill 包 | 版本化的技能包,支持搜索 |
| 官方插件 | 内置插件的安装与修复 | Computer Use 电脑助手、远程命令插件 |
| 提示词插件 | 提示词模板市场 | 常用提示词快速复用 |
核心能力:
- 🔍 搜索与刷新:按关键词查找 Skill,随时刷新列表(SkillsMarketToolbar);
- 📦 一键安装:安装按钮会显示"正在安装,请稍候…"进度(SkillInstallButton);
- 🚀 发布自己的 Skill:登录云端账号后,可发布或更新自己版本化的 Skill 包(SkillPublishModal)。
二、3分钟上手:安装 Computer Use 电脑助手
Computer Use 电脑助手是市场中的内置插件,为选中的 Codex Home 安装 CUA Driver 0.25.0,让 Codex GUI 通过 STDIO MCP 使用原生桌面工具。支持 Windows x64/ARM64 和 macOS 13+(Intel 与 Apple Silicon),其他系统会显示"不支持"状态。
安装步骤
-
打开桌面端 Codex GUI。首次连接时,电脑助手会在对话服务启动前自动安装到 GUI 的私有 Codex Home(Windows 下载约 28 MB,macOS 约 42 MB),界面会显示准备中的提示;
-
其他 Codex Home 可进入 官方插件 页面,点击 安装 手动安装;
-
安装成功后,卡片状态显示"已启用 · 可在对话中使用";
-
在同一个 Home 的对话中直接下指令,例如:
"打开计算器,计算 6 × 7,并确认结果。"
-
模型会自动发现 CUA 工具、检查应用、操作控件并接收截图,GUI 的工具结果查看器会直接渲染截图。
macOS 权限配置(关键一步)
macOS 上需要两项系统权限,缺一不可:
- 辅助功能(Accessibility):允许助手操作应用;
- 屏幕录制(Screen Recording):允许助手查看截图。
操作路径:打开电脑助手卡片 → 点击缺失权限旁的 去开启 → 在 系统设置 → 隐私与安全性 中为 Remote AI 开启对应权限(只有用户本人可以授权)。完成后重新打开对话;若 macOS 要求退出 Remote AI,按提示重启即可。
⚠️ 提示:状态轮询绝不会主动申请权限或截屏;Windows 安全桌面、UAC 弹窗和高权限应用仍受系统限制。
三、插件管理:启用、修复、卸载随时可控
电脑助手卡片(ComputerUseCard)提供完整生命周期控制:
| 按钮 | 作用 |
|---|---|
| 停用 | 停止该 Home 的所有桌面操控会话,旧连接无法复活 |
| 启用 / 修复 | 恢复配置;状态检查会自动补回缺失的托管配置和技能 |
| 卸载 | 移除该 Home 的 MCP 配置与技能,其他 Home 不受影响 |
几个值得放心的安全设计:
- ✅ 驱动包版本与 SHA-256 校验值固定在代码中,下载后先校验再解压;
- ✅ 卸载一个 Home 不会删除共享缓存,也不会动你自行安装的 CUA Driver 或系统 PATH;
- ✅ 托管桌面命令不通过网页 API 暴露,远程浏览器无法借由它操控你的服务器;
- ✅ CUA 遥测默认关闭(
CUA_DRIVER_RS_TELEMETRY_ENABLED=0)。
四、进阶玩法:搭配远程命令插件
安装完电脑助手后,还可以搭配官方插件市场的 远程命令 插件(PC 端首次打开 Codex GUI 时默认安装):两台电脑登录同一 Remote AI 账号后,本机 AI 可以先调用 remote_list_computers 查看在线电脑,再调用 remote_execute 在目标电脑上执行命令,例如"检查办公室电脑的磁盘空间并分析卡顿原因"。详细说明见 远程命令插件文档。
五、常见问题 FAQ
Q1:安装失败怎么办? 普通聊天不受影响,进入 社区插件/官方插件 页面点击 安装 或 修复 即可重试;状态检查会重建缺失的托管配置(前提是本地驱动包完整)。
Q2:卡片显示"已启用",为什么对话里还是调不到工具? "已启用"只表示文件和配置存在,不代表某个对话已完成 MCP 握手。请确认当前对话使用的 Home 与安装目标一致;驱动启动失败会以工具/连接错误的形式显示在 Codex 中。
Q3:Linux 或旧版 macOS 能用吗? 不支持。仅支持 Windows 64 位和 macOS 13 及以上,其他系统卡片会直接显示支持范围说明。
Q4:这与 OpenAI 官方 Computer Use 插件是同一回事吗? 不是。Remote AI 提供的是基于开源 CUA 驱动(MIT 协议)的集成,驱动二进制从固定上游版本下载且不做修改,详见 Computer Use 插件文档。
六、延伸阅读
- 完整说明:docs/computer-use-plugin.md
- 卡片实现:ComputerUseCard/index.tsx
- 市场类型定义:skillsMarket/types.ts
- 插件源码包:src-tauri/resources/codex-switch-computer-use
- 远程命令插件:docs/remote-command-plugin.md
现在,打开 Remote AI 的 Skills 市场,安装 Computer Use 电脑助手,然后对 Codex 说出你的第一个桌面任务吧 🖱️


