AI 如何看懂任意界面?图解桌面自动化 Agent SightFlow 的『看·想·做·学』四步闭环

原创2026-11-01 19:28:321,670 阅读

AI 如何看懂任意界面?图解桌面自动化 Agent SightFlow 的『看·想·做·学』四步闭环

如果你好奇 AI 如何看懂任意界面,SightFlow 桌面自动化 Agent 是一个直观的答案。它是一款开源的桌面 Agent / 工作记忆引擎:无需目标软件开放 API,就能看懂微信、钉钉等任意桌面界面,像真人一样点击、输入、发送,并把每次操作沉淀为可复用的经验。本文用『看·想·做·学』四步闭环,图解这套桌面 RPA 自动化是如何跑通完整工作流的。

一句话定位:SightFlow 不替代大模型,而是补齐大模型进不了屏幕的那一层 —— 把屏幕像素解析成语义,再把意图变成真实操作。


一、为什么需要「桌面自动化 Agent」

大模型解决了「想」和「说」,却没解决「学会」和「做好」。企业里最重的活儿,往往不在接口里,而在屏幕上、在人类工作流里:

  • 🖥️ 界面多 —— 一个任务横跨多个软件、多个窗口;
  • 🔁 流程长 —— 看消息 → 判断 → 执行 → 跟进 → 兜底,不是一键点击;
  • 🧠 经验隐 —— 真正的业务判断藏在老员工每次决策里,不在文档里。

传统 RPA 靠写死的坐标与流程,界面一变就失效。SightFlow 用「视觉 + 大模型」替代脆弱协议,让 AI 像真实用户一样「用眼睛看、用手去点」。

看 See ──▶ 想 Think ──▶ 做 Do ──▶ 学 Learn
看懂界面     判断规划      点击输入    写入工作轨迹
                                   │
              (经验沉淀回流) ◀────┘
阶段 做什么 通俗理解
👁 看 · See 视觉模型理解任意界面与状态 「先看懂屏幕」
🧠 想 · Think 结合上下文与历史做判断 「该不该回、回什么」
✋ 做 · Do 点击、输入、切换窗口、发送 「像真人一样操作」
📚 学 · Learn 每次执行写入结构化工作轨迹 「干完活,攒经验」

这不是一个应用,而是一套让 AI 上岗的**「工作记忆引擎」**。


二、第一步「看」:视觉模型如何看懂界面

「看」的核心是 VLM 视觉定位。SightFlow 先截一张图,让视觉大模型找出界面上的关键控件,并返回归一化坐标(<bbox> 0–1000),再换算成屏幕绝对坐标:

  • 📍 聊天入口按钮、联系人列表第一行(用于红点/未读检测);
  • 💬 搜索框、对话头、聊天记录区(用于内容区像素 diff);
  • ⌨️ 反推出输入框位置(用于打字与发送)。

这些区域被缓存到 LayoutCache,供后续所有操作复用。定位逻辑集中在 vision-utils.ts,它负责解析坐标并维护布局缓存;未读红点则通过「像素 diff + 红点占比」实时判断,见 has-unread.ts。

💡 微信/企微默认走 VLM 自动识别;钉钉、飞书、Slack 等默认走手动框选(依次圈出「会话列表 / 聊天内容区 / 输入框」)。两种模式只影响「如何测量布局」,后续截图、分析、回复共用同一套布局结果。

SightFlow 桌面自动化 Agent 基础配置界面:填入视觉模型 API Key 与视觉服务地址

上图:基础配置里的「视觉接口密钥」正是驱动「看」的能力 —— 用于布局分析、未读检测和界面定位。


三、第二步「想」:截图如何变成判断与回复

「想」发生在 generic-channel-session.ts 的事件状态机里。它把「看」到的截图交给**智能体(Provider)**分析,模型可能给出三种结果:

  • ✍️ 回复 —— 生成自然、口语化的回复文字;
  • ⏭️ 跳过 —— 判断本轮无需回复(例如最后一条是「我自己」发的,防止自我循环);
  • 🚫 报错 —— 服务异常则进入重试等待。

关键的「为什么这么做」判断会实时写进轨迹(phase: think + reasoning),这是后文「学」的燃料。

SightFlow 桌面自动化 Agent 智能体 Provider 配置界面:选择模型并编辑系统提示词

上图:智能体 Provider 负责「想」。这里可切换模型、编辑系统提示词,决定 AI 如何分析截图并生成回复。

多模型可切换是 SightFlow 的设计原则:聊天能力被抽象成独立的 Provider,通过一份 manifest.json + 一个入口文件即可接入任意模型。外部接入方式详见 Provider 接入文档。


四、第三步「做」:像真人一样操作屏幕

「做」把判断变成真实键鼠动作,封装在 input-utils.ts 的几个原语里:

  • 👆 activeUnreadByClickAction / clickUnreadContactAction —— 点击打开未读会话;
  • ⌨️ sendReplyAction —— 输入回复并发送;
  • 🎭 每步之间插入随机拟人化延迟(如 150~450ms),更像真人、也更稳。

每个动作完成后,会话会进入 check_unread 轮询:聊天区有变化 → 回到「看」重新截图;没有未读 → 等待下一轮。于是 看→想→做→学 自然形成一个持续运转的闭环,全程无需人工干预。


五、第四步「学」:把工作沉淀成可复用的记忆

这是 SightFlow 从「RPA」跃升为「Agent 运行时」的关键。普通工具只记录操作步骤,SightFlow 记录的是**「为什么这么做」**。

每次执行 = 一条结构化 work-trace:

work-trace = { 时间戳, 界面状态, 判断依据, 动作, 结果 }
  • 📼 可回放 —— 由 trace-recorder.ts 把每一步连同截图落盘为 trace.jsonl,出问题能复盘到每一步;
  • 🃏 经验卡片 —— 用 learn-from-session.ts 把一段轨迹归纳成 1~3 张「经验卡片」(触发条件 / 该怎么做 / 为什么),存于 experience-store.ts;
  • 🔁 闭环回流 —— 下次运行时,启用的经验卡片被自动拼进系统提示词(见 ai-client.ts 的「团队经验」段),让 AI 越干越会。

🧬 一句话:别人记录「点了哪里」,SightFlow 记录「为什么点这里」。这正是从 RPA 到 Agent 的分水岭。


六、5 分钟上手:配置与启动

SightFlow 桌面端基于 Electron · React · TypeScript 构建,由视觉语言模型驱动。只需 Node.js(LTS)与 npm:

npm install      # 1. 安装依赖
npm run dev      # 2. 本地开发运行

启动后只需两步:

  1. 基础配置 —— 填入视觉接口密钥(默认 Base URL 通常无需改),驱动「看」;
  2. 智能体 / Provider —— 选择负责「想」的模型与提示词。

打包发布:npm run build:win(Windows)、npm run build:mac(macOS)、npm run build:linux(Linux)。


七、安全与数据归属

面向真实、敏感环境设计,SightFlow 把「数据主权」放在核心:

  • 🔒 本地执行 —— 工作轨迹默认留在本机,无需出企业;
  • 🧾 全程可审计 —— 每条执行轨迹可逐条审查;
  • 🔄 多模型可切换 —— 适配各家视觉大模型。

代码开源 ≠ 数据开源:你的工作数据始终属于你。


八、源码导读:想深入就看这几个文件

你想了解 对应源码
看想做的状态机闭环 generic-channel-session.ts
VLM 视觉定位与布局缓存 vision-utils.ts
判断 / 回复 / 经验注入 ai-client.ts
键鼠动作原语 input-utils.ts
轨迹录制(work-trace) trace-recorder.ts
经验卡片与学习归纳 learn-from-session.ts
外部 Provider 接入 docs/provider.md

写在最后

SightFlow 用「看·想·做·学」四步,把 AI 从「只会聊天」推向「能在真实软件里上岗干活」。它的看点不在单点能力,而在于那个会自我沉淀、越用越聪明的闭环:每一次执行都在为下一次积累判断。如果你想让 AI 真正走进屏幕里的工作流,这套开源的桌面自动化 Agent 值得你亲手跑一遍。

登录后查看全文
sightflow-desktop-agent