探索大规模自动化测试的新纪元：Magellan

警告：该项目已被废弃，不再支持后续更新和PR审核。

前沿并行测试解决方案：Magellan

Magellan，一个被设计用于扩展你的自动化测试套件的利器，旨在提供高度可靠性的大规模并行测试。它允许您在多环境中（各种浏览器或版本，以及多种原生iOS或Android设备）同时运行大量的测试，以命令行工作流的形式，既适用于本地开发，也适应持续集成环境。Magellan与mocha（wd.js，webdriver.io，appium）和Nightwatch.js测试兼容，并集成了如SauceLabs等第三方浏览器提供商。

功能亮点

• 并行测试执行
  • 工作进程分配和管理，包括失败测试的重试机制。
  • 网络端口管理和测试，为模拟服务器和每个工作者独立的Selenium服务器提供隔离端口。
  • 可配置的工作进程数量。
  • 适应各种测试和调试工作流程，可同时运行多个测试，也可逐个测试，通过标签、组进行筛选。
  • 支持在同一时间运行多个本地（例如Chrome、Firefox）浏览器实例。
  • 同时运行多个远程（如SauceLabs、BrowserStack）浏览器实例。
• 集成支持
  • 提供状态报告API，从工作者处接收事件流。
  • 集成Slack报告功能。
  • 支持Admiral报告。
  • 良好的CI（如Jenkins）兼容性。
  • 通过Magellan执行器与云服务（如SauceLabs）通信（并行运行），配置灵活。
  • 控制SauceLabs虚拟机使用的锁服务（Beta版）。

------------------注意v10.0.0重大变更------------------

自v10.0.0起，Magellan不再内置执行器，您需要选择现有的执行器之一，或者自行实现。当前提供的执行器包括：

• magellan-local-executor
• magellan-saucelabs-executor
• magellan-browserstack-executor(早期测试阶段)

测试框架兼容性和安装

Magellan支持通过插件实现对Mocha和Nightwatch的测试框架的兼容。

Mocha

请注意：v10.0.0版本后不支持Mocha。如果您仍在使用v9或更低版本的Magellan运行Mocha测试，请勿升级。如需Mocha支持，请继续使用v9或更低版本。

所有Magellan对Mocha的支持信息可参考v8.8.5版本的文档。

Nightwatch

需安装插件：

• testarmada-magellan-nightwatch-plugin

示例项目：

• Nightwatch.js 示例项目

辅助库：（注：这不是运行Nightwatch测试的必要条件）

• testarmada-magellan-nightwatch

必须安装的执行器：

• testarmada-magellan-local-executor

可选执行器：

• testarmada-magellan-saucelabs-executor

安装命令：

npm install --save-dev testarmada-magellan
npm install --save-dev testarmada-magellan-nightwatch-plugin
npm install --save-dev testarmada-magellan-local-executor
npm install --save-dev testarmada-magellan-saucelabs-executor

magellan.json配置：

{
  "framework": "testarmada-magellan-nightwatch-plugin",
  "executors": [
    "testarmada-magellan-local-executor",
    "testarmada-magellan-saucelabs-executor"
  ]
}

Magellan如何融入您的工作流程

无论您是使用Mocha还是Nightwatch进行测试，Magellan都可以作为这些框架之上的“上层运行器”来扩大您的测试规模。

使用Mocha测试

当配合Mocha运行时，Magellan会直接叠加到您的现有测试套件之上：

使用Rowdy助力Mocha

更推荐的解决方案是将Magellan与rowdy结合使用，rowdy可以简化selenium desiredCapabilities对象处理和Selenium启动/停止操作。这将使工作流看起来像这样：

![Magellan stack-rowdy](https://cloud.githubusercontent.com/assets/12995/9394793/554f1862-473f-11e5-80d8-450d95cacc66.png）

使用Nightwatch.js测试

Magellan也可以运行Nightwatch.js测试套件：

常规Node.js测试

最后，Magellan还可以并行运行常规的Node.js测试（无浏览器或设备）：

开发者工作流示例

Magellan是一个命令行工具。

并行运行大量测试（默认）

默认情况下，magellan会尽可能快速地并行运行测试，通常设定为3个工作进程。但可以通过命令行参数--max_workers=n设置最大工作进程数。

您还可以在本地使用magellan-local-executor并行运行本地浏览器（如PhantomJS或Firefox）的测试：

# 同时启动多个PhantomJS实例并行运行测试
$ magellan --local_browser=phantomjs

# 同时启动多个Firefox实例并行运行测试
$ magellan --local_browser=firefox

在多个浏览器中运行测试

magellan能够在一个命令中运行跨多个浏览器的测试套件：

# 在本地的Chrome、Firefox和PhantomJS中运行测试
$ magellan --local_browsers=chrome,firefox,phantomjs

控制运行哪些测试

• 对于基于Nightwatch.js的测试，Magellan支持标准的Nightwatch标签定义。要在Magellan中通过--tags=commerce或--tags=smoke匹配的测试，可以在代码中这样编写：

module.exports = new Test({
  tags: ["commerce", "smoke"],
  "Load the order page": function (client) {
    // ...
  },
  "Submit the purchase": function (client) {
    // ...
  }
});

• 运行特定标签的测试，可以通过magellan命令添加--tag或--tags选项：

  • 指定一个标签： $ magellan --tag=customer
  • 指定多个标签： $ magellan --tags=customer,guest

• 通过--group选项按文件路径前缀筛选：

  $ magellan --group=tests/Smoke
  

  上述示例会匹配tests/product/tests/Smoke*。

• 运行单个特定测试，使用--test标志加上测试文件路径：

  $ magellan --test=path/to/my/test.js
  

• 运行JSON文件中定义的测试列表，使用--testFile标志加上文件路径（需使用testarmada-magellan-nightwatch-plugin@8.0.3及以上版本）：

  $ magellan --testFile=path/to/my/tests.json
  

  文件示例：

  [
    "path/to/my/test1.js",
    "path/to/my/test2.js",
    "path/to/my/test3.js"
  ]
  

序列模式运行测试

要逐个运行测试，使用--serial选项：

$ magellan --serial

以上即为Magellan的主要特性概述，尽管该项目已不再维护，但它仍然是过去大规模自动化测试领域的一个重要参考。尽管如此，对于寻找类似功能的开发者来说，研究其源码和应用思路仍有一定的价值。