别被 AI 唬住:这个登上 GitHub 热榜的测试工具,真正让人离不开的可能是"不配模型也能跑"

原创2026-10-27 17:52:131,886 阅读
文章标签:测试质量保障测试智能体AI Agent人工智能AI 应用GUI 自动化浏览器控制MCP 服务

别被 AI 唬住:这个登上 GitHub 热榜的测试工具,真正让人离不开的可能是"不配模型也能跑"

最近半年,只要聊到软件测试,"AI 自动点页面""说一句话就跑完整个流程"这类说法就一定会出现。

刷屏的视频里,AI 像个熟练的测试员,自己找按钮、自己填表单、自己判断结果对不对。看着确实爽。

但真把这类工具搬进公司用的人,往往会遇到另一个问题:每跑一次测试,都在烧钱。

一个中等规模的项目,几百条测试用例,一天跑十几轮,每轮都调用大模型——账单出来的时候,老板的脸色比测试报告还难看。更别提模型偶尔抽风、接口限流、结果时好时坏,最后团队又默默把 AI 关掉,回到手动点鼠标。

这也是为什么,最近冲上 GitHub 趋势榜的开源项目 e2e(来自 TesterArmy 团队)值得单独聊一聊。

它当然是打着"AI 测试"的旗号来的,但社区真正买单的,很可能是它那句有点反潮流的话:不用 AI 的测试,压根不需要模型。

一、先搞明白:这东西到底是个啥?

抛开所有术语,你可以把它理解成一位**"App 验收员"**。

你开发了一个网站或者一个手机 App,用户注册、下单、付款、退款……这些流程有没有坏,靠人一遍遍点太累,于是你雇个"验收员",让它每次改完代码都自动走一遍,出问题立刻喊你。

e2e 就是这么一个验收员,而且它能同时上三种"工位":电脑浏览器、iPhone 模拟器、安卓模拟器。

它最特别的地方在于——这位验收员有两套工作方式,你可以随时切换。

一套是"照着剧本演":你明确告诉它"点这个按钮""这个标题要出现""这里应该显示 Hello, Ada!"。它一板一眼执行,不会自由发挥。

另一套是"听懂人话自己干":你只说一句"帮我把工作区升级到 Pro 套餐",它自己看屏幕、自己找输入框、自己点确认。

关键在于,这两套可以混在同一条测试里用。前面让人话指挥,后面用死板的检查来验收结果。

同一个示例应用,在网页端的样子

二、"不配模型也能跑",为什么反而是最值钱的那部分?

这句话听起来不像卖点,更像妥协。但放到真实团队里,它恰恰是能天天用的前提。

第一,它把成本压到了零。

纯确定性写法下,测试里只有"找到这个元素""检查这段文字",不调用任何大模型,不需要 API Key,不需要订阅,也不消耗 Token。开着跑一晚上,账单还是零。

对一个几十人的研发团队来说,这不是省钱,这是"敢不敢开"的问题。要花钱的东西,大家会下意识少跑;不花钱的东西,才可能被塞进每一次代码提交里。

第二,它稳。

大模型有个绕不开的脾气:同样的问题,今天答 A,明天可能答 B。测试最怕的就是这个——同样的代码,跑十次,八次绿两次红,工程师管这叫"假失败",它比真 bug 更消耗信任。

确定性模式没有这个问题。同样的输入,永远同样的结果,红了就是真出事了。

第三,也是最聪明的一招:它会"记住路"。

这是 e2e 里我个人觉得最妙的设计,值得用生活化的说法讲清楚。

想象你第一次去一个陌生写字楼办事,得一路问人:电梯在哪、几楼、哪个门。办完之后,第二次再去,你根本不用再问,直接走。只有当楼里装修了、门牌换了,你才需要重新问一次。

e2e 就是这么干的:一段"人话指令"第一次由 AI 执行成功后,它会把这串动作录下来。下一轮再跑,直接照录像重放,一次模型都不调用。只有当页面真的变了、按钮找不到了,它才把控制权交回给 AI,重新摸索一遍。

跑完还会给你一行特别实在的账本:

AI 这边:用了多少 Token、调了几次模型。缓存这边:重放了几段、几段交给了 AI、几段没命中。

这个设计的高明之处在于——AI 只在"第一次"和"出意外时"出场,日常重复劳动全交给录像。

所以你会发现,那些看起来最"AI"的工具,用久了反而越来越不像 AI,越来越像传统测试。这不是退步,这是成熟。

三、那 AI 那部分,到底牛在哪?

说完了基本盘,也得承认:AI 确实是这个项目的"话题引擎",而且它有几个场景是真的惊艳。

1. 改版不炸测试。

做过自动化测试的人都有一个共同的痛:产品经理把按钮从"提交"改成"确认提交",或者把弹窗换了个位置,一夜之间几十条测试全红,工程师得挨个去改定位。

而用自然语言描述目标的测试,天生就抗这种折腾。它认的是"意图",不是"门牌号"。界面小改,它自己适应;大改,它重新看一眼就完事。

2. 一条测试,跑遍手机和电脑。

这可能是移动端团队最想要的功能。同一套写法,既能指挥浏览器,也能指挥 iOS 模拟器和安卓模拟器。界面对比截图、断言检查,用的都是同一套 API。

同一个测试思路,在安卓上的呈现

同一套写法,也能跑在 iOS 上

上面这两张图,其实就是它官方示例里那个"输入名字,回你一句 Hello"的小应用,在安卓和 iOS 上的样子。看起来简单,但"同一份测试代码同时伺候三个平台"这件事,过去是要几套框架、几拨人才能凑出来的。

3. 它还会自己去"逛"你的 App 找茬。

项目里有个叫"探索"的功能,你不用写测试,只要给它一句话,比如"像一个第一次来的买家那样逛完整个下单流程,把不对劲的地方报给我"。

它就会自己点、自己翻,把发现的问题按严重程度列出来:哪里的价格算错了、哪里的文案没渲染出来、哪里的库存显示成了负数。据说连"首页欢迎语里有个没替换掉的占位符"这种细节都能揪出来。

对没有专职测试的小团队来说,这个功能有点像请了个免费的挑刺爱好者,周末让它自己逛一圈,周一上班收报告。

网页示例应用的界面,测试就是围绕这些真实控件展开的

四、普通人、小团队怎么上手?门槛高不高?

不高,而且比想象中低。

不需要显卡。 这不是那种要本地跑大模型的工具。AI 那部分走的是云端接口或者你自己已有的订阅,纯确定性那部分则完全离线,普通办公笔记本就能跑。

不需要先花钱。 项目是 Apache-2.0 开源协议,装下来就能用。初始化时会问你选网页还是手机、选哪家模型——其中有一个选项就是"不用 AI"。选它,你立刻就能开始写不需要模型的测试,一分钱不花。

一条命令起步。 在项目目录里跑一下初始化,向导会帮你生成配置和一个示例测试,顺便把常用的编辑器插件也挂上,之后你甚至可以让写代码的 AI 助手帮你补测试。

适合谁?

  • 有网站或 App、但没专职测试的自媒体工具团队、小创业公司——先用不花钱的那套兜底;
  • 已经被"界面一改测试全红"折磨过的前端工程师——试试用意图描述替代一堆定位;
  • 做移动端、又想在 iPhone 和安卓上共用一套用例的团队——这是它比较突出的地方;
  • 纯科技爱好者——拿官方那十个现成示例(Vite、Next、Astro、Angular、Expo、SwiftUI、Jetpack Compose、Flutter、.NET MAUI 等)跑一遍,十分钟能看懂它在干嘛。

需要提醒一句:这个项目目前还在 0.x 阶段,官方自己也标注了"正在向 1.0 走,接口和配置可能变"。想上生产环境的团队,别一上来就把核心流程全押上去,先拿几条边缘用例试水更稳。

五、给同行的一点启示,以及一个开放的问题

这两年我们见了太多"AI 加持"的工具,发布会很热闹,三个月后打开率惨淡。

原因往往不是 AI 不够聪明,而是AI 被放在了不该放的位置上——本该由确定性逻辑干的重复活,非要让模型每次重新想一遍。又贵、又慢、又不稳,用户当然跑。

e2e 这套组合拳给出的答案其实很朴素:

AI 负责"第一次怎么走通"和"环境变了怎么办",确定性逻辑负责"以后每天都照做"。

前者制造惊喜,后者制造信任。惊喜决定它能不能上热搜,信任决定它能不能留在你的配置文件里。

对后来者来说,这可能比"我们的 Agent 有多强"更值得抄作业:先把不花钱、不出错的那 80% 做到极致,再让 AI 去啃那 20% 的硬骨头。

最后留个问题给大家聊聊:

如果你所在的公司要引入自动化测试,你会先上"百分之百稳定但不灵活"的传统方案,还是先试试"聪明但偶尔抽风"的 AI 方案?或者,你更愿意像 e2e 这样,让 AI 只负责开头、剩下的交给录像重放?

评论区说说你的选择和踩过的坑。

登录后查看全文
e2e