Apache DolphinScheduler E2E 测试参与指南:从 Issue 认领到测试用例编写与 PR 合入

原创2026-09-22 23:25:021,664 阅读
文章标签:任务调度大数据后端前端

Apache DolphinScheduler E2E 测试参与指南:从 Issue 认领到测试用例编写与 PR 合入

E2E(End to End,端到端)测试把 DolphinScheduler 整体当作黑盒子,以真实用户的视角模拟登录、页面跳转、增删改查等完整操作链路,验证系统各组件间的集成性与数据完整性。本文以社区贡献者视角,系统讲解如何定位 E2E 测试任务、理解 Issue 中的测试要求、按页面模型编写测试代码,以及最终如何提交 Pull Request,并结合仓库内 dolphinscheduler-e2e 模块的真实源码,给出可直接参考的代码路径与运行参数。

为什么 DolphinScheduler 需要 E2E 测试

社区引入 E2E 自动化测试,核心目的是通过模拟真实的用户场景,验证被测系统及其组件的集成性和数据完整性,从而扩展测试范围、确保系统健康稳定,并在一定程度上减少测试工作量和成本。简单来说,E2E 测试就是把程序当作黑盒子,以用户视角对真实系统的访问行为进行仿真:输入测试数据(用户行为/模拟数据),观察能否得到预期结果。

当前社区的 E2E 测试尚未达到完全覆盖,仍有大量页面和功能点等待补充,这正是贡献者参与社区建设最直接的切入点之一。围绕 E2E 测试的贡献流程可以概括为一条完整链路:

  1. 在社区 Issue 中寻找尚未完成的测试任务并认领;
  2. 根据 E2E 测试文档 了解测试框架与代码组织方式;
  3. 编写测试用例并通过本地/容器化方式验证;
  4. 参考 Pull Request 指南 提交代码并等待评审合入。

E2E 测试与单元测试的分工

E2E 与单元测试关注点不同,理解二者差异有助于把握测试用例的设计尺度。

单元测试通常需要覆盖参数、参数类型、参数值、参数数量、返回值、抛出错误等各类情况,目的在于保证特定函数在任何情况下都能稳定可靠地工作;它隐含的假设是"只要所有函数都正常,整个产品就能正常工作"。

E2E 测试则并不强调覆盖全部使用场景,它关注的核心是一个完整的操作链是否能够完成。对 Web 前端而言,还关注界面布局、内容信息是否符合预期。以登录界面为例:E2E 测试关注用户能否正常输入、正常登录,登录失败时能否正确显示错误信息;至于输入不合法内容时如何处理,并不是它的关注重点。这种"用户视角、链路优先"的定位,决定了 E2E 测试用例天然适合以"登录 → 导航 → 增删改查 → 断言结果"的形态组织。

第一步:如何寻找对应的 Issue

社区把 E2E 需要测试的页面已经整理成对应的 Issue,主要分为四个页面方向:

  • Project Management(项目管理)
  • Resource Center(资源中心)
  • DataSource(数据源)
  • Security Center(安全中心)

认领方式:在 GitHub 上进入 apache/dolphinscheduler 仓库的 Issue 列表,搜索 e2e test cases 即可找到相关任务列表。进入任意一个 Issue 后,Description 中会列出需要测试的内容和期望结果;贡献者可以根据自身兴趣选择对应的 Issue,例如参与 Security Center 的测试,在对应 Issue 下留言说明自己想测试的案例即可。

在仓库 Issue 列表中搜索 e2e test cases 找到 E2E 测试任务

解读 Issue 中的测试要求字段

每个 E2E 测试 Issue 都使用固定结构描述测试要求,理解这些字段是准确完成任务的前提:

字段 含义
Task status 测试是否已完成;若标记为 finish 说明该测试已实现,应寻找尚未完成的测试
number 测试案例的序号
function module 需要测试的功能模块,一个功能模块包含多个测试案例
test point 具体的测试点,例如页面中的按钮点击操作、页面跳转功能
priority 测试案例的优先级,推荐优先认领高优先级案例
service 测试过程中需要启动的服务
test steps 每个测试案例需要执行的测试步骤
expected results 所期望的测试结果
actual results 实际测试的结果
remarks 测试过程中需要注意的点

Security Center 测试任务示例:展示功能模块、测试点与优先级等字段

第二步:了解 E2E 测试技术栈

认领任务之后,编写代码前需要先了解测试基础设施。DolphinScheduler 的 E2E 测试基于以下技术栈构建(可对照 dolphinscheduler-e2e 模块查看):

  • Selenium:开源 Web 自动化测试工具,通过 WebDriver 将 Web Service 命令转化为浏览器原生调用,模拟浏览器对页面元素进行选择操作;
  • WebDriver:一套语言中立的 API 与协议,每个浏览器都有对应的驱动程序(driver),负责与 Selenium 及浏览器之间通信;
  • Testcontainers:用于在测试中拉起 Docker 容器(包括 DolphinScheduler 服务容器与 Selenium 浏览器容器),实现开箱即用的环境编排;
  • JUnit 5:测试框架,配合 @Order、@BeforeAll 等注解组织用例;
  • Awaitility + AssertJ:异步断言工具,用于等待并验证页面状态。

在容器编排层面,当前 E2E 测试使用 docker-compose 部署单机模式,主要用于检验"增删改查"一类的基本功能;后期如需做集群验证(例如不同服务之间的协作或通讯机制),可参考 deploy/docker/docker-compose.yml 进行扩展配置。

第三步:按页面模型编写测试代码

E2E 测试(前端部分)采用 Selenium 官方的 页面对象模型(Page Object Model) 实践:为每一个页面建立一个对应的模型类,把页面元素定位与操作封装在模型内,测试用例本身只描述业务动作。仓库中所有页面模型位于:

登录页模型示例

以登录页为例,只声明测试关心的元素(用户名、密码、登录按钮),通过 @FindBy 注解查找 Vue 页面中对应的 id,并封装复用方法,而不是在测试中直接操作元素:

package org.apache.dolphinscheduler.e2e.pages;

import org.apache.dolphinscheduler.e2e.pages.common.NavBarPage;
import org.apache.dolphinscheduler.e2e.pages.security.TenantPage;

import org.openqa.selenium.WebElement;
import org.openqa.selenium.remote.RemoteWebDriver;
import org.openqa.selenium.support.FindBy;
import org.openqa.selenium.support.ui.ExpectedConditions;
import org.openqa.selenium.support.ui.WebDriverWait;

import lombok.Getter;
import lombok.SneakyThrows;

@Getter
public final class LoginPage extends NavBarPage {
    @FindBy(id = "inputUsername")
    private WebElement inputUsername;

    @FindBy(id = "inputPassword")
    private WebElement inputPassword;

    @FindBy(id = "btnLogin")
    private WebElement buttonLogin;

    public LoginPage(RemoteWebDriver driver) {
        super(driver);
    }

    @SneakyThrows
    public TenantPage login(String username, String password) {
        inputUsername().sendKeys(username);
        inputPassword().sendKeys(password);
        buttonLogin().click();

        new WebDriverWait(driver, 10)
            .until(ExpectedConditions.urlContains("/#/security"));

        return new TenantPage(driver);
    }
}

要点说明:

  • 只声明当前测试关注的元素,而非页面全部元素,降低测试与 UI 的耦合面;
  • 登录成功后使用 WebDriverWait 等待 URL 变化到 /#/security,再返回目标页面模型,保证用例时序稳定;
  • 返回类型是 TenantPage 而非 void,让调用方可以直接链式进入后续页面,实现"页面即导航"的模型风格。

导航栏跳转:NavBarPage.goToNav

对于顶层导航栏的跳转,NavBarPage.java 提供了 goToNav 方法,当前支持三个入口页面:项目管理(ProjectPage)、安全中心(SecurityPage)和资源中心(ResourcePage):

    public <T extends NavBarItem> T goToNav(Class<T> nav) {
        if (nav == ProjectPage.class) {
            WebElement projectTabElement = new WebDriverWait(driver, 60)
                .until(ExpectedConditions.elementToBeClickable(projectTab));
            ((JavascriptExecutor)driver).executeScript("arguments[0].click();", projectTabElement);
            return nav.cast(new ProjectPage(driver));
        }

        if (nav == SecurityPage.class) {
            WebElement securityTabElement = new WebDriverWait(driver, 60)
                .until(ExpectedConditions.elementToBeClickable(securityTab));
            ((JavascriptExecutor)driver).executeScript("arguments[0].click();", securityTabElement);
            return nav.cast(new SecurityPage(driver));
        }

        if (nav == ResourcePage.class) {
            WebElement resourceTabElement = new WebDriverWait(driver, 60)
                .until(ExpectedConditions.elementToBeClickable(resourceTab));
            ((JavascriptExecutor)driver).executeScript("arguments[0].click();", resourceTabElement);
            return nav.cast(new ResourcePage(driver));
        }

        throw new UnsupportedOperationException("Unknown nav bar");
    }

可以看到,导航跳转统一采用"等待元素可点击 → 通过 JavascriptExecutor 触发点击 → 返回对应页面模型"的模式,超时设置为 60 秒,对页面加载较慢的环境更稳健。

页面内 Tab 跳转:SecurityPage.goToTab

安全中心页面(SecurityPage.java)提供 goToTab 方法,用于测试对应侧栏的跳转,覆盖:租户管理(TenantPage)、用户管理(UserPage)、工作组管理(WorkerGroupPage)和队列管理(QueuePage):

public <T extends SecurityPage.Tab> T goToTab(Class<T> tab) {
       if (tab == TenantPage.class) {
           WebElement menuTenantManageElement = new WebDriverWait(driver, 60)
                   .until(ExpectedConditions.elementToBeClickable(menuTenantManage));
           ((JavascriptExecutor)driver).executeScript("arguments[0].click();", menuTenantManageElement);
           return tab.cast(new TenantPage(driver));
       }
       if (tab == UserPage.class) {
           WebElement menUserManageElement = new WebDriverWait(driver, 60)
                   .until(ExpectedConditions.elementToBeClickable(menUserManage));
           ((JavascriptExecutor)driver).executeScript("arguments[0].click();", menUserManageElement);
           return tab.cast(new UserPage(driver));
       }
       if (tab == WorkerGroupPage.class) {
           WebElement menWorkerGroupManageElement = new WebDriverWait(driver, 60)
                   .until(ExpectedConditions.elementToBeClickable(menWorkerGroupManage));
           ((JavascriptExecutor)driver).executeScript("arguments[0].click();", menWorkerGroupManageElement);
           return tab.cast(new WorkerGroupPage(driver));
       }
       if (tab == QueuePage.class) {
           menuQueueManage().click();
           return tab.cast(new QueuePage(driver));
       }
       throw new UnsupportedOperationException("Unknown tab: " + tab.getName());
   }

这些子页面模型的实现方式同理,主要测试表单的输入、增加和删除按钮是否能够正确驱动页面状态变化。安全中心页面的实际运行形态如下图所示:

DolphinScheduler 安全中心页面(SecurityPage)界面

第四步:编写测试用例(以租户管理为例)

仓库中已实现的 E2E 测试案例包括:文件管理、项目管理、队列管理、租户管理、用户管理、Worker 分组管理、数据源(MySQL/PostgreSQL/Hive/SqlServer/Clickhouse)、集群、环境、令牌(Token)以及工作流(含 Shell/Python/HTTP/Java/Switch/子流程等任务类型)等,全部位于:

引入 compose 文件与前置准备

由于测试使用 docker-compose 部署,每个测试类都需要通过 @DolphinScheduler 注解引入对应的 compose 文件;同时使用 Selenium 提供的 RemoteWebDriver 加载浏览器。每个测试案例开始前都需要准备工作:登录用户、跳转到对应页面(视具体测试案例而定):

@BeforeAll
public static void setup() {
    new LoginPage(browser)
            .login("admin", "dolphinscheduler123") // 登录进入租户界面
            .goToNav(SecurityPage.class) // 安全中心
            .goToTab(TenantPage.class)
    ;
}

在真实的 TenantE2ETest.java 中,对应的写法是:

@DolphinScheduler(composeFiles = "docker/basic/docker-compose.yaml")
class TenantE2ETest {
    ...
    @BeforeAll
    public static void setup() {
        new LoginPage(browser)
                .login("admin", "dolphinscheduler123")
                .goToNav(SecurityPage.class)
                .goToTab(TenantPage.class);
    }

用 @Order 组织用例顺序并用断言校验结果

正式测试用例使用 @Order() 注解进行模块化,确认测试执行顺序;测试完成后使用断言判断是否成功。以创建租户为例:

    @Test
    @Order(10)
    void testCreateTenant() {
        final TenantPage page = new TenantPage(browser);
        page.create(tenant);

        Awaitility.await().untilAsserted(() -> assertThat(page.tenantList())
                .as("Tenant list should contain newly-created tenant")
                .extracting(WebElement::getText)
                .anyMatch(it -> it.contains(tenant)));
    }

若断言返回 true,则表示创建租户成功。同一个测试类中通常还包含重复创建、更新、删除等用例(如 testCreateDuplicateTenant、testUpdateTenant、testDeleteTenant),它们依次覆盖"增、重、改、删"的完整业务链路,删除用例通过刷新页面后断言列表不再包含目标租户来验证。其余测试案例都是类似的组织方式,可参考 cases 目录 下的具体源码理解。

本地运行与调试技巧

在本地运行 E2E 测试前,需要先启动对应的本地服务,可参考 环境搭建文档。

测试基础设施层面有两个关键运行参数(其逻辑实现在 DolphinSchedulerExtension.java 中,分别由 LOCAL_MODE 与 M1_CHIP_FLAG 两个布尔值控制):

  • -Dlocal=true:连接本地服务(默认本地端口 5173),方便对 UI 界面进行改动后即时验证,而不必每次重新拉起整套 Docker 环境;
  • -Dm1_chip=true:在 Apple M1 芯片的机器上使用,配置支持 ARM64 的浏览器容器镜像(仓库中指定为 seleniarm/standalone-chromium),避免 Intel 镜像在 ARM 架构下无法运行。

本地模式(-Dlocal=true)运行时测试驱动本地服务示意

运行过程中还有几点经验值得注意:

  • 连接超时处理:如果出现连接超时,可增大加载时间,建议设置 30 秒及以上;
  • 测试录像:测试运行过程会以 MP4 文件格式保存录像(DolphinSchedulerExtension 中通过 withRecordingMode(RECORD_ALL, record.toFile(), MP4) 开启全量录制,录制目录可通过环境变量 RECORDING_PATH 指定,未指定时默认写入临时目录),便于失败后回溯定位问题。

E2E 测试运行超时设置界面示意

E2E 测试运行录像以 MP4 文件保存

第五步:如何提交 Pull Request

参与开源社区的形式多种多样,包括提交 issue、pull request、文档翻译等。在参与 E2E 测试贡献的过程中,首先需要了解提交 pull request 的基本流程,包括分支管理、commit message 规范、代码格式检查(仓库根目录提供了 style/eclipse.importorder 与 style/spotless_dolphinscheduler_formatter.xml 等格式化约束)以及评审规则,完整流程请参考 Pull Request 指南。

结语

E2E 测试是 DolphinScheduler 保障"用户视角完整操作链路"正确性的重要防线,而当前测试覆盖尚未完全,正是贡献者参与的绝佳窗口。整个参与路径清晰直接:在 Issue 中按 e2e test cases 找到任务 → 对照字段理解测试要求(优先高优先级)→ 以页面对象模型为基础编写测试用例 → 用 -Dlocal / -Dm1_chip 等参数本地验证 → 按规范提交 PR。仓库中的 dolphinscheduler-e2e 模块已经沉淀了完整的页面模型与 20 余个测试案例,可作为新用例最直接的编写范本。

登录后查看全文
dolphinscheduler