如何测试一个AI助手?Atticus假Mac测试框架与70+回归测试体系全解
如何测试一个AI助手?Atticus假Mac测试框架与70+回归测试体系全解
Atticus 是一个运行在 Mac 上的免费语音助手:按住 ⌃⌥Space 说一句话,它就能移动窗口、操作网页、执行后台任务。但如何测试一个 AI 助手?当 AI 的不确定性和真实桌面系统叠在一起,直接让它在你电脑上跑测试显然行不通。Atticus 的解决方案是一套"假 Mac 测试框架"(Fake Mac)加上 70+ 离线回归测试:用脚本化的 Claude 和虚拟化的系统状态,把 AI 助手的完整任务链路搬进 CI 虚拟机里跑。本文将带你完整看懂这套 AI 助手测试体系的设计与用法。
为什么测试 AI 助手这么难
AI 助手和普通软件的测试难点完全不同:
| 普通软件 | AI 助手 |
|---|---|
| 输入输出确定 | AI 每一步用什么工具、说什么都不可预测 |
| 不需要真实系统 | 要读屏幕、点窗口、开浏览器、动日历 |
| 断言简单 | 要验证"任务最终做对了",而不是"某行代码执行了" |
Atticus 的架构是 Atticus.swift(原生壳:热键、语音、浮层)+ atticus.py(大脑:快速指令、系统提示词、窗口/网页/屏幕辅助工具)。要测它,就必须同时解决两个问题:假的操作系统状态和假的 AI 决策。这正是 tests/evals/ 目录的职责。
Fake Mac:伪造一台完整的 Mac
核心文件是 tests/evals/fake_mac.py。它用纯标准库模拟了 Atticus 大脑依赖的所有 Mac 工具输出:
- 状态文件:通过
ATTICUS_EVAL_STATE指向一个 JSON 文件,里面记录虚拟浏览器页面、页面控件、操作日志(log)和"已产生的副作用"(effects); - 拦截子进程:Atticus 大脑靠
subprocess调用系统工具,fake_mac 会接管这些调用并返回伪造结果; - 副作用追踪:AI 每"点"一次按钮、填一次输入框,都会被记录为可断言的效果,例如
read_page2、filled_q10。
真正的接管发生在 tests/evals/sitecustomize.py——利用 Python 自动导入 sitecustomize 的特性,在 harness 的每个子进程里偷偷替换 subprocess.run / subprocess.Popen:命中假 Mac 能处理的命令就返回伪造结果,其余命令照常执行。测试者甚至专门为这个拦截机制写了回归测试(test_dry.py),保证"假系统本身不会坏"。
双模式评测:dry 与 live
harness.py 是整个评测的驱动器,支持两种模式:
--dry模式(CI/虚拟机可用):用脚本化的 Claude 替身代替真实模型。场景文件里预写好了 AI 应该执行的命令序列(dry_bash),harness 检查这些命令与期望效果是否一致;--live模式(真实 Mac 可用):调用真正的claude -p,观察真实模型的决策路径,断言放宽为"最多问几次澄清问题"之类的行为约束。
每次评测的产物是一份可对比的指标表:耗时(seconds)、成本(usd)、工具往返次数(round_trips)等,结果可导出为 JSON(--out 参数),方便跨版本比较 AI 助手的效率退化。
15 个任务场景:覆盖助手的核心能力
场景定义在 tests/evals/scenarios.py,每个场景声明四样东西:task(用户任务原话)、初始环境(前台应用、浏览器页面、文件)、expect(必须产生的副作用)和 dry_bash(dry 模式下的标准答案)。15 个场景一览:
| 场景 ID | 考察能力 |
|---|---|
worksheet_browser |
跨页浏览器表单:翻页 + 填 10 个空 |
survey_form / settings_toggle / native_button |
表单与原生控件操作 |
pdf_preview / pages_summarize / spreadsheet_total |
长文档阅读、OCR、计算 |
shop_cheapest_cart |
多步骤购物比价任务 |
mail_reply / calendar_event |
邮件回复、日历改期 |
menu_bar_wifi / finder_multistep |
菜单栏操作、Finder 多步任务 |
on_screen_question / chart_colors |
屏幕理解与提问 |
ambiguous_which |
歧义任务:必须用 --pick 向用户澄清 |
最后这个场景值得玩味:任务是"打开那个文档",而桌面上有 Budget.pdf 和 Budget draft.pdf 两个文件——正确行为不是瞎猜,而是调用 --pick 让用户选择。也就是说,这套框架连"AI 该不该问"都在测。
dry 评测通过环境变量 opt-in,避免在 CI 中意外跑重:
ATTICUS_RUN_DRY_EVALS=1 python3 -m unittest tests/evals/test_dry.py -v
70+ 回归测试:离线、隔离、零副作用
tests/ 目录下有 70 多个测试文件(仅 test_*.py 就有 74 个),全部离线运行:无 Claude 调用、无真实 Mac 操作、不碰用户配置。工程上有几个值得学习的设计:
- 全局隔离:tests/init.py 在导入任何测试前就设置临时
ATTICUS_DIR并禁用遥测键,每个测试再通过scratch_dir()获得专属临时目录,互不污染; - 主机保护(host guard):同样在 tests/init.py 里,如果检测到不是虚拟机环境(
ATTICUS_VM未设置),任何试图启动osascript、open或 Atticus 二进制的子进程都会直接跳过测试——防止跑测试时"接管"开发者的屏幕; - Swift Fixture 应用:像 tests/hands_fixture.swift 这样的真实 Cocoa 应用会被现场编译运行,专门验证辅助功能(Accessibility)层的滚动、点击、安全输入框等原生操作,仅在有 macOS 框架的环境执行。
日常回归测试一条命令即可,仓库内置了 Devbox 环境:
devbox shell
devbox run test # 等价于 python3 -m unittest discover -s tests -v
Mock 桥接的 UI 交互测试
Atticus 的浮层、设置页、Agent 面板都是 HTML + 与原生层通信的桥(bridge)。tests/ui.html、tests/settings.html、tests/agents.html 等页面内嵌了 mock native bridge,不执行任何 Mac 动作、不发起 AI 调用,纯在浏览器里断言 UI 行为。启动方式见 README.md:
python3 -m http.server 8765 --bind 127.0.0.1
# 然后访问 http://127.0.0.1:8765/tests/ui.html
还有:实时探测与只读账号评测
- 启动耗时测量:tests/measure_agents.py 以只读方式探测
claude进程的冷启动时间、init 延迟和连接器工具数量,守护"快"这个产品承诺; - 真实账号评测:tests/eval_agents_live.py 让真实 Agent 完成一次只读网购调研,断言它返回 3 个以上真实来源且确实调用了工具——专测"AI 真的干活了,而不是嘴上说说",仅在登录态的测试账号上 opt-in 运行。
结语:一个可以抄的 AI 助手测试配方
把 Atticus 的体系抽象出来,任何桌面 AI 助手项目都能参考:
- 假系统层:状态文件 + 子进程拦截,伪造 OS 输出(tests/evals/fake_mac.py);
- 场景层:任务原话 + 期望副作用,dry/live 双模式(tests/evals/scenarios.py);
- 回归层:70+ 离线 unittest,临时目录隔离 + 主机保护(tests/);
- UI 层:mock 桥接页面,浏览器内断言交互;
- 度量层:耗时、成本、往返次数全部入表,防效率退化。
测试 AI 助手的本质,是把"不可预测的 AI"关进"可断言的假世界"里。Atticus 的假 Mac 框架正是这样做的——而 70+ 回归测试保证这个世界本身永远可靠。

