Magnitude项目中的AI自动化测试：agent.act()与agent.check()方法详解

引言

在现代Web应用测试领域，自然语言驱动的自动化测试正在改变传统的测试方式。Magnitude项目提供了一套创新的AI测试方法，通过agent.act()和agent.check()这两个核心方法，让测试人员可以用人类语言描述操作和验证，大大降低了自动化测试的门槛。

agent.act()方法详解

agent.act()是Magnitude中用于执行浏览器操作的核心方法，它能够将自然语言描述转换为具体的浏览器交互动作。

基本用法

// 点击操作示例
await agent.act("点击登录按钮");

// 输入操作示例
await agent.act("在用户名输入框中输入{username}", {
  data: { username: "[e-mail]" }
});

参数解析

1. description参数（必需）：

   • 类型：字符串
   • 功能：用自然语言描述要执行的操作
   • 支持占位符语法（如{key}），这些占位符会被options.data中的值替换

2. options参数（可选）：

   • 类型：对象
   • 可配置属性：
     • data：提供操作所需的数据，可以是字符串或键值对对象
     • prompt：为底层AI模型提供额外的指令，这些指令会被注入到系统提示中

高级特性

1. 数据动态注入： 通过data属性，可以实现测试数据的动态注入，使测试用例更加灵活。

2. 操作组合： 单个agent.act()调用可以包含多个操作步骤，AI会自动解析并执行相关操作序列。

3. 安全建议： 对于敏感数据（如密码、API密钥等），建议使用环境变量或安全存储方案，避免在代码中硬编码。

agent.check()方法详解

agent.check()是用于验证页面状态的AI方法，它能够理解自然语言描述的预期条件，并检查当前页面是否符合这些条件。

基本用法

// 元素可见性检查
await agent.check("用户资料下拉菜单可见");

// 数量验证
await agent.check("购物车中有3件商品");

// 文本内容验证
await agent.check("显示'设置已保存！'的成功消息");

参数解析

• description参数（必需）：
  • 类型：字符串
  • 功能：用自然语言描述预期的页面状态或条件

验证能力

1. 元素状态验证： 可以检查元素的可见性、可点击性等状态。

2. 内容验证： 能够验证页面上的文本内容是否符合预期。

3. 数量验证： 可以检查列表中元素的数量或特定条件的元素数量。

最佳实践

1. 描述清晰性：

   • 尽量使用明确、具体的描述
   • 避免模糊不清的表达方式

2. 测试用例结构：

   • 将操作和验证合理组合
   • 每个测试步骤保持适当的粒度

3. 错误处理：

   • 方法会抛出异常当检查不通过或操作失败时
   • 建议在测试框架中合理捕获和处理这些异常

4. 性能考虑：

   • 复杂的自然语言解析需要一定时间
   • 在性能敏感场景下可以考虑简化描述

技术原理

Magnitude的AI测试方法背后是基于大型语言模型(LLM)的技术实现：

1. 自然语言理解：

   • 将测试人员的自然语言描述转换为内部操作指令
   • 理解页面元素的语义关系

2. DOM分析：

   • 结合当前页面DOM结构解析操作目标
   • 智能定位页面元素

3. 操作执行：

   • 将解析结果转换为具体的浏览器操作命令
   • 自动处理等待、重试等逻辑

总结

Magnitude项目提供的agent.act()和agent.check()方法代表了自动化测试的新范式，通过自然语言接口大大提升了测试脚本的可读性和可维护性。这种方法特别适合：

• 快速原型测试
• 跨团队协作场景
• 需要频繁修改的测试用例
• 对测试人员编程技能要求较低的项目

随着AI技术的不断发展，这种基于自然语言的测试方法将会变得越来越强大和普及。