ARTEMIS子代理工具体系全解:Explorer、视频分析与日志分析等15个工具实战指南
ARTEMIS子代理工具体系全解:Explorer、视频分析与日志分析等15个工具实战指南
ARTEMIS 是一个把自然语言指令变成可靠 Android 自动化的开源框架,它的核心是一套分工明确的子代理(Sub-Agent)工具体系:从 Planner 制定任务计划,到 Operator 执行点击滑动,再到视频分析、日志分析、像素校验等 15 个子代理各司其职。本文将带你快速看懂每个子代理的岗位职责、协作链路,以及如何用两条命令跑通第一个自动化任务。
一、为什么需要"子代理工具体系"?
单一大模型直接操作手机,最大的问题是既当裁判又当运动员:定位不准就乱点、失败了只会盲目重试、关键信息转瞬即逝。ARTEMIS 的解法是把"看、想、做、查、验"拆给 15 个专业子代理,每个代理只干一件事,却拥有专属工具集:
这套体系支撑了它在 Google Research AndroidWorld 基准(100+ 个复杂多步任务)上取得 99%+ 完成率的 SOTA 成绩:
二、15个子代理全景速查表
所有子代理源码集中在 artemis/agents/ 目录,每个子目录就是一个"岗位":
| # | 子代理 | 岗位一句话 | 核心能力 |
|---|---|---|---|
| 1 | Planner | 首席测试工程师 | 意图拆解、漏斗式策略、带 [Loop] 边界的里程碑计划 |
| 2 | Operator | 一线执行员 | 点击/滑动/输入、任务账本、快动作连发(Burst) |
| 3 | Explorer | 像素级定位专家 | UI 树 + OCR + 视觉检测三路融合,返回 0-1000 归一化坐标 |
| 4 | Flash | 极速反应者 | 3-5 秒/步的"观察-思考-行动"闭环,无图编排 |
| 5 | Validator | 动作安全网 | 执行前 XML 校验 + 像素兜底,拦截误点并自愈坐标 |
| 6 | Diagnoser | 故障侦探 | 结合日志与录屏,回答"为什么这个操作没生效" |
| 7 | Checker | 独立质检员 | 零副作用验收计划检查点,任务出口终审 |
| 8 | Outputter | 报告撰写官 | 从执行历史提取用户要的信息,生成最终报告 |
| 9 | Summarizer | 历史压缩师 | 把每步动作压缩成高密度单段叙事,支撑 10 小时+长跑 |
| 10 | Video Analyzer | 视频取证官 | 按需切分录屏,派生子代理做画面/音频分析 |
| 11 | Log Analyzer | 日志 grep 专家 | "先搜后读"策略,精准定位 Logcat 报错窗口 |
| 12 | History Analyzer | 会话考古学家 | 回答"刚才第 N 步看到了什么",支持步骤回放 |
| 13 | Image Processor | OpenCV 编程代理 | 写 Python 脚本裁剪/放大/高亮截图,产出新图像 |
| 14 | Object Detector | 多模型目标检测 | 对截图做视觉检测,标注"图中有什么" |
| 15 | Hopper | 批量数据提取员 | 从几百条数据中原样抽取目标字段(如包名) |
💡 记住一个心法:感知类(Explorer、Object Detector、Image Processor)负责"看清",执行类(Operator、Flash)负责"动手",诊断类(Diagnoser、Log/Video/History Analyzer)负责"复盘",治理类(Planner、Checker、Validator、Summarizer、Outputter、Hopper)负责"管住"。
三、核心子代理实战拆解
1. Explorer:三路融合的坐标定位引擎
Operator 说"我要点'搜索'按钮",但屏幕上可能有 3 个相似按钮、还有 Canvas 渲染的自定义 UI。Explorer 的解题策略写在 artemis/agents/explorer/explorer.json 中:
- 高置信直出:标注截图 + UI 元素列表已经足够明显时,第一轮直接
submit_answer; - 低置信并行取证:一次调用
ask_perception_tool,并发跑 UI 树文本搜索、坐标审计、视觉目标检测 三条通道,返回带彩色圆点标注的截图; - 精细验证:用
inspect_region对候选区域放大,甚至可调用 Image Processor 做像素级图像处理(裁剪、对比度增强)。
所有坐标统一为 0-1000 归一化值,天然免疫分辨率变化——这正是"Dynamic-First, Coordinate-Fallback"定位引擎的精髓。工具声明在 artemis/agents/explorer/tool_declarations.py,层级策略(flash/pro/ultra)在 artemis/agents/explorer/tiers.py。
2. Video Analyzer:给 10 小时录屏做"按需切片"
Pro 模式会持续录制屏幕,但把整段视频塞给模型既贵又慢。artemis/agents/video_analyzer/video_analyzer.md 定义了它的核心路由逻辑:
- 先用
extract_segment_metadata探测时段的文件大小和时长; - 涉及 UI 交互、界面状态 →
spawn_sub_agent派视觉子代理; - 纯语音/提示音问题 →
analyze_audio_only走音频通道,省掉视觉开销。
这相当于给录像做了一个"智能剪辑师",Operator 只需问"刚才弹窗出现了几次",就能得到精准回答。
3. Log Analyzer:Grep 先于 Read 的日志诊断术
Logcat 动辄几十万行,全量读取必然撑爆上下文。artemis/agents/log_analyzer/log_analyzer.md 强制"先搜后读"两步法:
- 精确定位(Grep):
search_logs按关键字/包名/异常标签搜索,只拿行号和时间戳; - 定点读取(Read):
read_logs按since_time/until_time只取报错点附近 20-50 行窗口。
遇到不认识的错误码还会调用 Google 搜索辅助判断——一套完整的"日志断案"工作流。
4. Diagnoser vs Checker:侦探与质检的分工
- Diagnoser(artemis/agents/diagnoser/diagnoser.py):当 Operator 连续 3 次点击同一目标却无反应、或页面漂移时,Operator 会调用它。它能读日志、看录屏、查 UI 层级,回答"为什么没生效";
- Checker(artemis/agents/checker/checker.py):只读、零副作用,负责验收。计划中 Planner 埋下的
- verify:/- assert:检查点由它异步审计,任务结束时它还会对照用户原始目标做出口终审——验收不通过会把里程碑打回重做。
5. Planner & Operator:多代理图谱的双引擎
Pro 模式的"大脑"是 Planner(artemis/agents/planner/planner.py),它被要求按 5 步认知流程思考:意图拆解 → 视觉锚定 → 分层漏斗策略 → 风险预演 → 里程碑粒度控制,最终产出一份活的 Markdown 任务计划(支持 [Loop] 迭代循环和 [Loop:continuous] 持续监控语法)。
Operator(artemis/agents/operator/operator.json)则把计划执行落地:每回合走"观察诊断 → 计划记忆 → 目标执行"三阶段协议,配合 Validator 安全网拦截误点、Execution Incident 机制自主恢复失败动作。
四、辅助子代理:长跑与取证的关键配角
剩下的 5 个子代理是 10 小时+ 无人值守测试的"幕后功臣":
- Summarizer(artemis/agents/summarizer/summarizer.md):把旧步骤压缩成第一人称单段叙事,明令禁用"successfully / failed"等主观词,防止历史误导后续决策——这是 token 消耗下降 70%+ 的关键;
- History Analyzer(artemis/agents/history_analyzer/history_analyzer.md):支持
search_history定位步骤、replay_steps回放完整记录、get_step_screenshot调出当时截图,回答"你之前具体做了什么"; - Object Detector(artemis/agents/object_detector/object_detector.py):多模型视觉检测,告诉系统"图里哪里有按钮/图标";
- Image Processor(artemis/agents/image_processor/image_processor.md):一个会写 OpenCV 脚本的编程代理,对模糊小字可裁剪放大再送检;
- Hopper(artemis/agents/hopper/hopper.md):从几百条批量数据中原样抽取字段,"宁缺毋猜"——找不到就返回 null;
- Outputter(artemis/agents/outputter/outputter.md):任务收口时从执行历史中提取用户要求的信息,生成结构化报告。
五、快速上手:两条命令体验子代理体系
🚀 安装与启动(仓库是只读的,clone 后运行启动脚本即可自动装好 ADB、scrcpy、FFmpeg 等依赖链):
git clone https://gitcode.com/gh_mirrors/artemis44/artemis && cd artemis
./start.sh # Windows 用 .\start.bat
🎯 对比两种执行模式,感受子代理体系的差异:
# Flash 模式:Flash 子代理 3-5 秒/步的快速反应环
uv run artemis run "打开设置,进入电池页面,告诉我当前电量" --profile flash
# Pro 模式:Planner + Operator + Checker 等完整子代理图谱
uv run artemis run "打开邮件,找出 11 月技术大会的时间地点并汇总" --profile pro
启动后浏览器会自动打开 http://localhost:8000 的可视化控制台,可实时观看每个子代理的推理流与动作轨迹,还能回放整个执行过程:
💬 进阶玩法:运行 uv run artemis mcp --install all 把 ARTEMIS 接入 Claude Code / Codex / Antigravity 等 AI 编程助手,再挂载 mcp_server/rules.md 测试思维规则文件,就能在 IDE 聊天框里直接"命令你的手机"跑测试、抓崩溃日志。
六、小结
ARTEMIS 子代理工具体系的精髓在于专业化分工 + 证据驱动:
- 🎯 感知精确:Explorer 三路融合 + 归一化坐标,UI 改版也不怕;
- ⚡ 执行可靠:Validator 安全网 + Execution Incident 自愈,消灭"静默误点";
- 🔍 诊断闭环:Log/Video/History Analyzer + Diagnoser,失败必可追溯;
- 📋 治理严谨:Planner 埋检查点、Checker 独立验收、Summarizer 压缩历史。
想深入某个子代理的完整提示词与工具设计,直接从 artemis/agents/ 对应目录读起即可——每个子目录里的 .md / .json 文件就是它的"岗位说明书"。




