在聊天软件里指挥自己的电脑:这个刚开源的能力为什么被大量围观

原创2026-11-03 20:57:111,613 阅读
文章标签:人工智能AI 应用AI Agent自主智能体本地部署桌面应用GUI 自动化工具调用MCP 服务Agent 记忆任务调度AI 插件dsh-pluginDeepSeek

在聊天软件里指挥自己的电脑:这个刚开源的能力为什么被大量围观

“AI 能操作电脑”这件事,过去一年已经被演示了太多次:看屏幕、点按钮、填表单。但真正把它当日常工具用的人不多,原因往往不是模型不够聪明,而是它离你太远——它在你没打开的那个网页里,在你不会每天登录的那个客户端里。

AnyModelBot 走的是另一条路:把常驻智能体放回你自己的电脑上,然后把入口交给微信、飞书、Telegram 这些你本来一天要打开几十次的东西。你在微信里说一句“帮我把下载目录按项目整理一下”,剩下的动作在本地发生,需要你点头的时候,一条带四位编号的消息发到你手机上。

这个组合之所以被围观,不是因为它发明了新模型能力,而是它把三件原本分散的事——对话、执行命令、操作桌面——压进了同一个会话,并且认真回答了“万一它乱来怎么办”。

一个会话里,塞进了三种不同危险等级的能力

纯聊天产品的安全模型很简单:最坏情况是它说错话。一旦允许它跑命令,最坏情况就变成它删错目录。AnyModelBot 的做法不是在提示词里写“请谨慎”,而是在三个层面给出三档不同的权限预设。

第一档是只读。机器人的命令进只读沙箱,文件改不了,电脑操作驱动也以只读模式启动——这一条在 src/agent/host.ts 里能直接看到,cuaConfig() 拿到的 readonly 参数就来自当前权限档位:

const cfg = cuaConfig(st.cua, dir, { readonly: this.settings().permission === "readonly", apps });

第二档是工作区(默认值),对应 workspace-write。它能写自己的文件夹,一旦要越界,就停下来问你。第三档是完全权限,对应 danger-full-access,命令不再进沙箱。

三档到 DSH 沙箱模式的映射只有一行,写在 src/agent/settings.ts:

export function permissionMode(p: PermissionPreset): string {
  return p === "readonly" ? "read-only" : p === "full" ? "danger-full-access" : "workspace-write";
}

值得注意的是“完全权限”这一档的处理。DSH 自带的 danger-full-access 预设会把审批策略设成 never——也就是一律自动拒绝,等于把审批通道关死。AnyModelBot 在启动补丁里把它改回 ask,这样递归删除闸门才有机会把请求送到你面前,见 src/agent/host.ts 的 fullAccessLines():

- id: approval
  config:
    policy: ask
- id: permission
  config:
    presets:
      read-only: { sandbox: read-only, approval: ask }
      workspace-write: { sandbox: workspace-write, approval: ask }
      danger-full-access: { sandbox: danger-full-access, approval: ask }

这段补丁每个机器人启动时重新生成,写在 <data>/dsh/<botId>/amb.patch.yml 里,文件权限是 0o600。换句话说,权限不是一个藏在设置页里的布尔值,而是每次拉起子进程时重新写进运行时的配置。

机器人打开记事本、输入备忘并保存,每次点击和输入前都有审批卡片

电脑操作这一层还多一个开关:默认自动执行,切成“改变界面前先问我”之后,点击和输入要走审批,读取屏幕内容始终不需要。这个设计取舍很实在——读屏幕不改变任何状态,为它弹窗只会训练用户无脑点同意。

为什么 IM 是天然入口,而不是"顺便支持一下"

很多桌面智能体把 IM 当附加项:主界面在 Electron 里,聊天软件只是通知渠道。AnyModelBot 反过来,把 IM 当成一等公民,并且为它改写了交互原语。

最典型的是审批。在图形界面里,审批是一张卡片、两个按钮。在微信里没有按钮,只有文本,于是审批被压缩成四位数字编号加一句 y/n:

需批准:`rm -rf build/` — 回复 y 4821 / n 4821

这套解析逻辑在 src/agent/approvals.ts,正则本身就说明了它要容忍多少种人类写法:

const YES = /^(y|yes|ok|是|同意|批准|允许)$/i;
const YES_NO = /^(y|yes|ok|是|同意|批准|允许|n|no|否|拒绝|不)\s*[#::]?\s*(\d{4})?$/i;

四位码不是装饰。newCode() 会同时避开待处理的审批码和使用请求码,防止“同意 1234”被认错对象;没有编号时,只有在会话里恰好只有一个待批准项的情况下才允许省略,多个待批准项会回一句“有 N 个待批准,请带上编号”。

更细的一层是“这句话到底算不算回答”。后台任务的提问可能挂几个小时,如果把用户随口一句“嗯”当成回答,任务就会跑偏。所以 src/agent/approvals.ts 的 ReplyContext 定义了三类可信信号:引用了那条提示、以四位编号开头,或者那条提示是机器人最后一条消息且只回了选项编号/选项原文。其余一律按普通聊天处理。

微信还带来一个绕不开的现实约束:主动消息只能在用户最近一次发言后的 24 小时窗口内发,且条数有限。项目没有假装这个限制不存在,而是在 src/core/delivery.ts 里设了每日上限:

export const DAILY_CAP: Readonly<Record<string, number>> = { weixin: 3, feishu: 5 };

发不出去的回复先落到本地发件箱,等你下次开口时合成一条“你不在时:…”补发。这个细节决定了“在微信里指挥电脑”到底是能用还是不能用——一个会在半夜把结果丢掉的系统,用户第一次遇到就会放弃。

扫码连接微信,在手机上提问,机器人在手机上回答,同一段对话出现在桌面应用的最近会话里

入口打开之后紧接着是第二个问题:谁可以和这个机器人说话。跑在你自己电脑上的智能体,如果被陌生人找到就能驱动,风险远大于云端助手。所以 src/core/access.ts 直接写明策略是 owner-allowlist:

  • 微信的主人是扫码登录的那个账号;飞书、Telegram、Slack、Discord 的主人是连上之后第一个发单聊消息的人。
  • 其他人发消息只会收到一句“还没被允许”,不进队列、不碰模型、不花钱;同一个人每小时最多被回一次。
  • 请求会带四位配对码推给主人,主人回“同意 1234”才放行;每个机器人每小时最多推 3 条通知,避免被刷屏。

代码里甚至留了一句注释解释为什么群聊暂时不设规则:“目前没有渠道接入群聊,保持原样不拦,接入群聊时再定规则。”这种把“还没做”写清楚的注释,比声称“全面支持”更值得信任。

从“给建议”到“把事做完”,差的是任务模型

聊天助手和能干活的助手,分水岭不在工具数量,而在有没有“任务”这个对象。

AnyModelBot 的后台任务有自己的会话和文件夹(tasks/<名字>-<编号>/),跑的时候不占用聊天。这件事的技术难点不是并发,而是模型不知道自己在一个无人看管的环境里。所以任务会话拿到的是一段独立的系统提示词,见 src/agent/prompts/tasks.ts:

export const TASK_RULES = [
  "# 后台任务(优先于上面的聊天规则)",
  "你在后台独立完成一个任务,用户不在旁边。任务和用户的原话在第一条消息里;当前目录是这个任务的文件夹,产出的文件放在这里。",
  "- 自己做决定,在结果里说明选了什么。语言、格式、范围、风格都不问:用对话的语言,选最合理的做法。",
  // …
  "- 做完或做不下去时调用 task_report:state 为 done 或 failed,message 是给用户的一句话",
];

三条规则值得单独拎出来看。

第一,不问风格问题。 报告用中文还是英文、表格怎么排,这些猜错了只是白做一遍,不值得打断用户。项目在注释里写得很直白:“语言、格式、范围、风格从不问”。

第二,该问的时候给默认答案。 只有三种情况才允许提问:猜错会造成损失、花钱或白做大半;需要只有用户才有的东西(登录、文件、密码);这一步不可撤回(付款、删除数据、替别人发消息)。带默认答案的提问不会阻塞任务,你一小时不回,它按默认做完,并在结果里说明选了什么。

第三,汇报是结构化的。 后台会话通过 task_report 工具汇报状态(progress / needs_you / done / failed),而不是让宿主去猜自由文本。这是“需要你”面板能稳定工作的前提——src/tasks/attention.ts 里列出所有等人的事:提问、审批、失败、未送达、登录过期、预算停摆,甚至包括“观察了 3 次,要不要改成正式执行”的建议。

智能体界面:文件任务的逐步活动列表,以及一张请求写入工作区之外的审批卡片

配合预算机制,这套任务模型才算闭环:后台任务默认 1 美元,规则每次 0.1 美元、每月 3 美元,花到了就停下来问“再给 1 美元继续?”。一个人在微信里交代一句话,本质上是在授权花钱,不给上限的授权是不负责任的。

围观者最关心的三件事:权限、回滚、日志

权限:不只是"能不能删文件"

表面的三档预设容易理解,真正体现工程判断的是预设之外的三道补丁。

其一,权限变更对老会话生效。 DSH 会把预设固化在会话创建时,之后在设置里改成只读,只影响新对话——这个坑很隐蔽。AnyModelBot 用 dsh-runtime/plugins/amb-permission.mjs 在每次工具执行前重新套用当前预设:

ctx.on('tools/pre-execute', (exec, next) => {
  const session = exec?.agent?.session
  if (session) {
    const want = presets.get(String(session.id ?? '')) ?? (/^rule-/.test(String(session.id ?? '')) ? 'read-only' : fallback)
    try {
      if (ctx.permissionPresets.current(session) !== want) ctx.permissionPresets.set(session, want)
    } catch (e) {
      return { kind: 'deny', reason: `permission preset ${want} could not be applied` }
    }
  }
  return next()
}, { prepend: true })

注意失败分支:套用不上就直接 deny,而不是放任它按旧权限跑。规则会话还额外加了 /^rule-/ 前缀兜底,配置没送到也默认只读。

其二,沙箱只限制写,不限制读。 这是 DSH 自带沙箱的边界,但对一个把数据库、渠道令牌、网关密钥都放在同一个数据目录的应用来说,能读就等于全部泄露。Linux 上的解法是用一个 bwrap 包装脚本把整个数据目录挂成空 tmpfs,只把本机器人的工作区和 DSH 主目录挂回来,见 src/agent/host.ts 的 writeBwrapShim()。同时子进程环境里明确写了两个变量:

AMB_DENY_READ: JSON.stringify([path.resolve(this.o.dataDir)]),
AMB_ALLOW_READ: JSON.stringify([path.resolve(this.workspace), path.resolve(this.home)]),

其三,模型不能自己给自己批权限。 这是最容易被忽略的一条。沙箱里的进程能访问 127.0.0.1,而本机管理 API 就在 127.0.0.1 上——如果它直接发一个 HTTP 请求批准自己的审批,前面所有设计都白做了。src/agent/peer-guard.ts 专门处理这件事:通过 /proc/net/tcp 找到连接对应的 socket inode,再遍历 DSH 子进程及其后代进程的 /proc/<pid>/fd,判断这条回环连接是不是来自被托管的进程。

一个只在 Linux 上实现的、几十行的检查,比任何“我们非常重视安全”的措辞都有说服力。

回滚:没有快照,只有日志和不自动重做

如果期待“一键撤销”,这个项目会让你失望——它没有文件快照,也没有事务回滚。README 和设计文档都没有承诺这一点。

它给的是另一种保证:不假装成功,也不偷偷重做。

后台任务被要求在做出会改变外部世界的动作前后,各往 .task/journal.md 追加一行。应用重启或崩溃后,恢复说明会明确告诉模型:上一步可能没做完,这些后台命令被停掉了,重复任何外部动作之前先读日志、看文件夹、核对外部系统。这段话在 src/agent/prompts/tasks.ts 里是硬编码的:

return `The app restarted while you were working on this task. Your last step may not have finished, and these background jobs were stopped: ${list}. Before repeating any outside action (sending, posting, paying, deleting, or calling an API that changes something), read \`.task/journal.md\`, check your folder and check the outside system. Then continue and report with task_report.`;

聊天侧的策略更保守:应用退出时还没处理完的消息,下次启动会在原对话里说明“请重新发送”,不会自动重做。这条选择牺牲了便利性,换来的是“不会有一个你没看见的 POST 被发两遍”。

递归删除是唯一被单独拎出来做静态拦截的操作。完全权限下加载 dsh-runtime/plugins/amb-delete-gate.mjs,把 shell 命令文本送进 recursiveDelete() 检测:rm -r、PowerShell 的 Remove-Item -Recurse、rimraf、shutil.rmtree、Node 的 fs.rm(..., {recursive})、Directory.Delete($true),连 pwsh -EncodedCommand 都会解出 base64 再看一遍。

但这个插件的注释同样诚实:

It guards against accidents, not against a hostile model: the text is matched, never run, so commands built at runtime (eval "$(…)", curl … | sh) or hidden in build tools (make clean, npm run clean) are not seen.

防误删,不防恶意模型。运行时拼出来的命令看不见。把能力边界写在代码第一屏,比写在官网免责声明里有效得多。

日志:每一步都能对上账

日志在这个项目里承担了三份职责:给用户看、给排查用、给恢复用。

给用户看的是活动流。src/agent/activity.ts 把 DSH 的会话事件折叠成有限的几类步骤:

export interface ActivityStep {
  id: string;
  kind: "model" | "tool" | "retry" | "subagent" | "compact" | "error" | "job" | "steer";
  title: string;
  summary?: string;
  input?: string;
  output?: string;
  status: "running" | "ok" | "error";
  cut?: boolean;
  at: number;
  ms?: number;
  tokens?: { input?: number; output?: number };
}

cut 这个字段很关键:没做完就被打断的步骤(回合出错、/stop、看门狗、超时)仍然按“正在做”描述,而不是伪装成完成。界面上的“一步一步看得见”,底层就是这么来的——上限 120 步,参数截断 1000 字符,输出截断 2000 字符。

排查用的是另一套数据:子进程 stderr 的尾部 80 行(已脱敏)、启动阶段、最近一次初始化耗时、最近一次退出码。这些在“故障排查”页里可见,也是 scripts/e2e-agent.mjs 判断卡在哪一步的依据。

恢复用的就是前面提到的 .task/journal.md。三份日志各有各的读者,没有合并成一个大杂烩。

至于保留期,任务和运行记录留 30 天,任务文件夹 30 天没动过自动清理,清理日期提前显示在任务详情里——想留就点保留。运行记录能导出成 Markdown,这一点对“事后复盘 agent 到底干了什么”尤其有用。

这套架构的代价

把能力摊开看,有几个绕不过去的取舍,值得在动手之前知道。

电脑操作需要桌面会话。 Docker 部署、服务器常驻、SSH 登录都拿不到图形界面,这一块能力实际只在桌面版可用;macOS 上还标着 Beta。

本地优先不等于全本地。 对话、记忆、文件、密钥留在设备上,但模型请求要经过 Modelflare 转发给供应商,提示词、文件内容和工具结果都会离开设备;开启电脑操作后,屏幕截图也会离开。项目在 README 里用一张“留在设备上 / 会离开设备”的两列表格把这件事说清楚了,而不是用“隐私优先”四个字带过。

能力取决于模型和权限。 一个不支持 tool call 的模型,接进来也只能聊天;只读档位下,让它“改一下这个配置”注定失败。

渠道能力不对齐。 微信没有流式、没有卡片、主动消息有 24 小时窗口和条数上限;飞书有流式卡片和按钮审批;Telegram、Slack、Discord 目前只处理单聊。同一个机器人在不同渠道里的体验是不一样的,官方文档没有试图抹平这个差异。

架构:Electron 外壳、命令行或 Docker 启动 Node.js + TypeScript 后端,包含 Preact 界面、SQLite、DSH 智能体运行时与渠道适配,再经内置网关连到模型供应商

一处值得单独说的架构细节是密钥隔离。模型请求并不由智能体进程直接发出,而是走一个只监听回环地址的内部桥;桥的令牌每次启动随机生成,真实网关密钥只存在于宿主进程内。子进程环境里只有 AMB_MAGPIE_KEY 这个临时令牌,见 src/agent/host.ts 的 env()。这样一来,即使模型被诱导读环境变量、或者命令里 env 一把,拿到的也不是能直接计费的密钥。src/agent/bridge.ts 在转发时还会剥掉 authorization、cookie 等头部,只保留上游需要的部分。

它真正解决的是什么问题

把能力清单摊平,会发现没有一个单项是全新的:微信机器人十年前就有,命令沙箱是现成的,电脑操作驱动是开源的,Modelflare 只是模型网关。这个项目做的是把它们拼成一个自洽的整体,并且在每个接缝处补上了别人容易跳过的那一刀。

  • 有审批,于是就有人问“在微信里怎么点按钮”,答案是四位码加 y/n,以及一套“什么算回答”的判定规则。
  • 有后台任务,于是就有“任务重启后怎么办”,答案是日志、不自动重做、以及一句明确的恢复说明。
  • 有沙箱,于是就有“沙箱里的进程能不能自己批自己”,答案是一段读 /proc 的 peer guard。
  • 有完全权限,于是就有“那 rm -rf 呢”,答案是静态检测加一句“防误删、不防恶意模型”。

围观者真正在看的,大概不是“AI 又能操作电脑了”,而是这些接缝填得够不够老实。从这个角度看,docs/blog/superagent.md 里那句设计原则解释了很多取舍的来由:占用尽量少的注意力,带来尽量多的价值。 一个能替你干活的智能体,同样有能力把你的注意力耗光——所以它只在你必须决定、或者结果真的能用上时才开口。

这条原则也解释了为什么这个项目在“能力”之外花了同样多的篇幅讲“不打扰”:22:00 到 08:00 免打扰,微信每天最多 3 条主动消息,超过就合成摘要,进展一律不推。在聊天软件里指挥电脑,最怕的不是它做错,而是它做对得太吵。

登录后查看全文
AnyModelBot