ARTEMIS子代理工具体系全解:Explorer、视频分析与日志分析等15个工具实战指南

原创2026-09-22 09:58:121,407 阅读
文章标签:AI Agent自主智能体人工智能大模型AI 应用GUI 自动化MCP 服务多模态工具调用Agent 工作流测试质量保障

ARTEMIS子代理工具体系全解:Explorer、视频分析与日志分析等15个工具实战指南

ARTEMIS 是一个把自然语言指令变成可靠 Android 自动化的开源框架,它的核心是一套分工明确的子代理(Sub-Agent)工具体系:从 Planner 制定任务计划,到 Operator 执行点击滑动,再到视频分析、日志分析、像素校验等 15 个子代理各司其职。本文将带你快速看懂每个子代理的岗位职责、协作链路,以及如何用两条命令跑通第一个自动化任务。

一、为什么需要"子代理工具体系"?

单一大模型直接操作手机,最大的问题是既当裁判又当运动员:定位不准就乱点、失败了只会盲目重试、关键信息转瞬即逝。ARTEMIS 的解法是把"看、想、做、查、验"拆给 15 个专业子代理,每个代理只干一件事,却拥有专属工具集:

ARTEMIS子代理体系架构:Planner、Operator、Explorer等15个子代理协作分工总览

这套体系支撑了它在 Google Research AndroidWorld 基准(100+ 个复杂多步任务)上取得 99%+ 完成率的 SOTA 成绩:

AndroidWorld基准测试成绩对比:ARTEMIS以99%+成功率登顶

二、15个子代理全景速查表

所有子代理源码集中在 artemis/agents/ 目录,每个子目录就是一个"岗位":

# 子代理 岗位一句话 核心能力
1 Planner 首席测试工程师 意图拆解、漏斗式策略、带 [Loop] 边界的里程碑计划
2 Operator 一线执行员 点击/滑动/输入、任务账本、快动作连发(Burst)
3 Explorer 像素级定位专家 UI 树 + OCR + 视觉检测三路融合,返回 0-1000 归一化坐标
4 Flash 极速反应者 3-5 秒/步的"观察-思考-行动"闭环,无图编排
5 Validator 动作安全网 执行前 XML 校验 + 像素兜底,拦截误点并自愈坐标
6 Diagnoser 故障侦探 结合日志与录屏,回答"为什么这个操作没生效"
7 Checker 独立质检员 零副作用验收计划检查点,任务出口终审
8 Outputter 报告撰写官 从执行历史提取用户要的信息,生成最终报告
9 Summarizer 历史压缩师 把每步动作压缩成高密度单段叙事,支撑 10 小时+长跑
10 Video Analyzer 视频取证官 按需切分录屏,派生子代理做画面/音频分析
11 Log Analyzer 日志 grep 专家 "先搜后读"策略,精准定位 Logcat 报错窗口
12 History Analyzer 会话考古学家 回答"刚才第 N 步看到了什么",支持步骤回放
13 Image Processor OpenCV 编程代理 写 Python 脚本裁剪/放大/高亮截图,产出新图像
14 Object Detector 多模型目标检测 对截图做视觉检测,标注"图中有什么"
15 Hopper 批量数据提取员 从几百条数据中原样抽取目标字段(如包名)

💡 记住一个心法:感知类(Explorer、Object Detector、Image Processor)负责"看清",执行类(Operator、Flash)负责"动手",诊断类(Diagnoser、Log/Video/History Analyzer)负责"复盘",治理类(Planner、Checker、Validator、Summarizer、Outputter、Hopper)负责"管住"。

三、核心子代理实战拆解

1. Explorer:三路融合的坐标定位引擎

Operator 说"我要点'搜索'按钮",但屏幕上可能有 3 个相似按钮、还有 Canvas 渲染的自定义 UI。Explorer 的解题策略写在 artemis/agents/explorer/explorer.json 中:

  • 高置信直出:标注截图 + UI 元素列表已经足够明显时,第一轮直接 submit_answer;
  • 低置信并行取证:一次调用 ask_perception_tool,并发跑 UI 树文本搜索、坐标审计、视觉目标检测 三条通道,返回带彩色圆点标注的截图;
  • 精细验证:用 inspect_region 对候选区域放大,甚至可调用 Image Processor 做像素级图像处理(裁剪、对比度增强)。

所有坐标统一为 0-1000 归一化值,天然免疫分辨率变化——这正是"Dynamic-First, Coordinate-Fallback"定位引擎的精髓。工具声明在 artemis/agents/explorer/tool_declarations.py,层级策略(flash/pro/ultra)在 artemis/agents/explorer/tiers.py。

2. Video Analyzer:给 10 小时录屏做"按需切片"

Pro 模式会持续录制屏幕,但把整段视频塞给模型既贵又慢。artemis/agents/video_analyzer/video_analyzer.md 定义了它的核心路由逻辑:

  1. 先用 extract_segment_metadata 探测时段的文件大小和时长;
  2. 涉及 UI 交互、界面状态 → spawn_sub_agent 派视觉子代理;
  3. 纯语音/提示音问题 → analyze_audio_only 走音频通道,省掉视觉开销。

这相当于给录像做了一个"智能剪辑师",Operator 只需问"刚才弹窗出现了几次",就能得到精准回答。

3. Log Analyzer:Grep 先于 Read 的日志诊断术

Logcat 动辄几十万行,全量读取必然撑爆上下文。artemis/agents/log_analyzer/log_analyzer.md 强制"先搜后读"两步法:

  1. 精确定位(Grep):search_logs 按关键字/包名/异常标签搜索,只拿行号和时间戳;
  2. 定点读取(Read):read_logs 按 since_time / until_time 只取报错点附近 20-50 行窗口。

遇到不认识的错误码还会调用 Google 搜索辅助判断——一套完整的"日志断案"工作流。

4. Diagnoser vs Checker:侦探与质检的分工

  • Diagnoser(artemis/agents/diagnoser/diagnoser.py):当 Operator 连续 3 次点击同一目标却无反应、或页面漂移时,Operator 会调用它。它能读日志、看录屏、查 UI 层级,回答"为什么没生效";
  • Checker(artemis/agents/checker/checker.py):只读、零副作用,负责验收。计划中 Planner 埋下的 - verify: / - assert: 检查点由它异步审计,任务结束时它还会对照用户原始目标做出口终审——验收不通过会把里程碑打回重做。

5. Planner & Operator:多代理图谱的双引擎

Pro 模式的"大脑"是 Planner(artemis/agents/planner/planner.py),它被要求按 5 步认知流程思考:意图拆解 → 视觉锚定 → 分层漏斗策略 → 风险预演 → 里程碑粒度控制,最终产出一份活的 Markdown 任务计划(支持 [Loop] 迭代循环和 [Loop:continuous] 持续监控语法)。

Operator(artemis/agents/operator/operator.json)则把计划执行落地:每回合走"观察诊断 → 计划记忆 → 目标执行"三阶段协议,配合 Validator 安全网拦截误点、Execution Incident 机制自主恢复失败动作。

ARTEMIS自主执行子代理驱动真机的任务执行实况

四、辅助子代理:长跑与取证的关键配角

剩下的 5 个子代理是 10 小时+ 无人值守测试的"幕后功臣":

ARTEMIS子代理协作输出的最终测试报告:结构化审计结论与指标表格

五、快速上手:两条命令体验子代理体系

🚀 安装与启动(仓库是只读的,clone 后运行启动脚本即可自动装好 ADB、scrcpy、FFmpeg 等依赖链):

git clone https://gitcode.com/gh_mirrors/artemis44/artemis && cd artemis
./start.sh   # Windows 用 .\start.bat

🎯 对比两种执行模式,感受子代理体系的差异:

# Flash 模式:Flash 子代理 3-5 秒/步的快速反应环
uv run artemis run "打开设置,进入电池页面,告诉我当前电量" --profile flash

# Pro 模式:Planner + Operator + Checker 等完整子代理图谱
uv run artemis run "打开邮件,找出 11 月技术大会的时间地点并汇总" --profile pro

启动后浏览器会自动打开 http://localhost:8000 的可视化控制台,可实时观看每个子代理的推理流与动作轨迹,还能回放整个执行过程:

ARTEMIS子代理Web控制台:实时观察Agent推理流、动作坐标与任务队列

💬 进阶玩法:运行 uv run artemis mcp --install all 把 ARTEMIS 接入 Claude Code / Codex / Antigravity 等 AI 编程助手,再挂载 mcp_server/rules.md 测试思维规则文件,就能在 IDE 聊天框里直接"命令你的手机"跑测试、抓崩溃日志。

六、小结

ARTEMIS 子代理工具体系的精髓在于专业化分工 + 证据驱动:

  • 🎯 感知精确:Explorer 三路融合 + 归一化坐标,UI 改版也不怕;
  • ⚡ 执行可靠:Validator 安全网 + Execution Incident 自愈,消灭"静默误点";
  • 🔍 诊断闭环:Log/Video/History Analyzer + Diagnoser,失败必可追溯;
  • 📋 治理严谨:Planner 埋检查点、Checker 独立验收、Summarizer 压缩历史。

想深入某个子代理的完整提示词与工具设计,直接从 artemis/agents/ 对应目录读起即可——每个子目录里的 .md / .json 文件就是它的"岗位说明书"。

登录后查看全文
artemis