Apache DolphinScheduler E2E 测试参与指南:从 Issue 认领到测试用例编写与 PR 合入
Apache DolphinScheduler E2E 测试参与指南:从 Issue 认领到测试用例编写与 PR 合入
E2E(End to End,端到端)测试把 DolphinScheduler 整体当作黑盒子,以真实用户的视角模拟登录、页面跳转、增删改查等完整操作链路,验证系统各组件间的集成性与数据完整性。本文以社区贡献者视角,系统讲解如何定位 E2E 测试任务、理解 Issue 中的测试要求、按页面模型编写测试代码,以及最终如何提交 Pull Request,并结合仓库内 dolphinscheduler-e2e 模块的真实源码,给出可直接参考的代码路径与运行参数。
为什么 DolphinScheduler 需要 E2E 测试
社区引入 E2E 自动化测试,核心目的是通过模拟真实的用户场景,验证被测系统及其组件的集成性和数据完整性,从而扩展测试范围、确保系统健康稳定,并在一定程度上减少测试工作量和成本。简单来说,E2E 测试就是把程序当作黑盒子,以用户视角对真实系统的访问行为进行仿真:输入测试数据(用户行为/模拟数据),观察能否得到预期结果。
当前社区的 E2E 测试尚未达到完全覆盖,仍有大量页面和功能点等待补充,这正是贡献者参与社区建设最直接的切入点之一。围绕 E2E 测试的贡献流程可以概括为一条完整链路:
- 在社区 Issue 中寻找尚未完成的测试任务并认领;
- 根据 E2E 测试文档 了解测试框架与代码组织方式;
- 编写测试用例并通过本地/容器化方式验证;
- 参考 Pull Request 指南 提交代码并等待评审合入。
E2E 测试与单元测试的分工
E2E 与单元测试关注点不同,理解二者差异有助于把握测试用例的设计尺度。
单元测试通常需要覆盖参数、参数类型、参数值、参数数量、返回值、抛出错误等各类情况,目的在于保证特定函数在任何情况下都能稳定可靠地工作;它隐含的假设是"只要所有函数都正常,整个产品就能正常工作"。
E2E 测试则并不强调覆盖全部使用场景,它关注的核心是一个完整的操作链是否能够完成。对 Web 前端而言,还关注界面布局、内容信息是否符合预期。以登录界面为例:E2E 测试关注用户能否正常输入、正常登录,登录失败时能否正确显示错误信息;至于输入不合法内容时如何处理,并不是它的关注重点。这种"用户视角、链路优先"的定位,决定了 E2E 测试用例天然适合以"登录 → 导航 → 增删改查 → 断言结果"的形态组织。
第一步:如何寻找对应的 Issue
社区把 E2E 需要测试的页面已经整理成对应的 Issue,主要分为四个页面方向:
- Project Management(项目管理)
- Resource Center(资源中心)
- DataSource(数据源)
- Security Center(安全中心)
认领方式:在 GitHub 上进入 apache/dolphinscheduler 仓库的 Issue 列表,搜索 e2e test cases 即可找到相关任务列表。进入任意一个 Issue 后,Description 中会列出需要测试的内容和期望结果;贡献者可以根据自身兴趣选择对应的 Issue,例如参与 Security Center 的测试,在对应 Issue 下留言说明自己想测试的案例即可。
解读 Issue 中的测试要求字段
每个 E2E 测试 Issue 都使用固定结构描述测试要求,理解这些字段是准确完成任务的前提:
| 字段 | 含义 |
|---|---|
| Task status | 测试是否已完成;若标记为 finish 说明该测试已实现,应寻找尚未完成的测试 |
| number | 测试案例的序号 |
| function module | 需要测试的功能模块,一个功能模块包含多个测试案例 |
| test point | 具体的测试点,例如页面中的按钮点击操作、页面跳转功能 |
| priority | 测试案例的优先级,推荐优先认领高优先级案例 |
| service | 测试过程中需要启动的服务 |
| test steps | 每个测试案例需要执行的测试步骤 |
| expected results | 所期望的测试结果 |
| actual results | 实际测试的结果 |
| remarks | 测试过程中需要注意的点 |
第二步:了解 E2E 测试技术栈
认领任务之后,编写代码前需要先了解测试基础设施。DolphinScheduler 的 E2E 测试基于以下技术栈构建(可对照 dolphinscheduler-e2e 模块查看):
- Selenium:开源 Web 自动化测试工具,通过 WebDriver 将 Web Service 命令转化为浏览器原生调用,模拟浏览器对页面元素进行选择操作;
- WebDriver:一套语言中立的 API 与协议,每个浏览器都有对应的驱动程序(driver),负责与 Selenium 及浏览器之间通信;
- Testcontainers:用于在测试中拉起 Docker 容器(包括 DolphinScheduler 服务容器与 Selenium 浏览器容器),实现开箱即用的环境编排;
- JUnit 5:测试框架,配合
@Order、@BeforeAll等注解组织用例; - Awaitility + AssertJ:异步断言工具,用于等待并验证页面状态。
在容器编排层面,当前 E2E 测试使用 docker-compose 部署单机模式,主要用于检验"增删改查"一类的基本功能;后期如需做集群验证(例如不同服务之间的协作或通讯机制),可参考 deploy/docker/docker-compose.yml 进行扩展配置。
第三步:按页面模型编写测试代码
E2E 测试(前端部分)采用 Selenium 官方的 页面对象模型(Page Object Model) 实践:为每一个页面建立一个对应的模型类,把页面元素定位与操作封装在模型内,测试用例本身只描述业务动作。仓库中所有页面模型位于:
登录页模型示例
以登录页为例,只声明测试关心的元素(用户名、密码、登录按钮),通过 @FindBy 注解查找 Vue 页面中对应的 id,并封装复用方法,而不是在测试中直接操作元素:
package org.apache.dolphinscheduler.e2e.pages;
import org.apache.dolphinscheduler.e2e.pages.common.NavBarPage;
import org.apache.dolphinscheduler.e2e.pages.security.TenantPage;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.remote.RemoteWebDriver;
import org.openqa.selenium.support.FindBy;
import org.openqa.selenium.support.ui.ExpectedConditions;
import org.openqa.selenium.support.ui.WebDriverWait;
import lombok.Getter;
import lombok.SneakyThrows;
@Getter
public final class LoginPage extends NavBarPage {
@FindBy(id = "inputUsername")
private WebElement inputUsername;
@FindBy(id = "inputPassword")
private WebElement inputPassword;
@FindBy(id = "btnLogin")
private WebElement buttonLogin;
public LoginPage(RemoteWebDriver driver) {
super(driver);
}
@SneakyThrows
public TenantPage login(String username, String password) {
inputUsername().sendKeys(username);
inputPassword().sendKeys(password);
buttonLogin().click();
new WebDriverWait(driver, 10)
.until(ExpectedConditions.urlContains("/#/security"));
return new TenantPage(driver);
}
}
要点说明:
- 只声明当前测试关注的元素,而非页面全部元素,降低测试与 UI 的耦合面;
- 登录成功后使用
WebDriverWait等待 URL 变化到/#/security,再返回目标页面模型,保证用例时序稳定; - 返回类型是
TenantPage而非void,让调用方可以直接链式进入后续页面,实现"页面即导航"的模型风格。
导航栏跳转:NavBarPage.goToNav
对于顶层导航栏的跳转,NavBarPage.java 提供了 goToNav 方法,当前支持三个入口页面:项目管理(ProjectPage)、安全中心(SecurityPage)和资源中心(ResourcePage):
public <T extends NavBarItem> T goToNav(Class<T> nav) {
if (nav == ProjectPage.class) {
WebElement projectTabElement = new WebDriverWait(driver, 60)
.until(ExpectedConditions.elementToBeClickable(projectTab));
((JavascriptExecutor)driver).executeScript("arguments[0].click();", projectTabElement);
return nav.cast(new ProjectPage(driver));
}
if (nav == SecurityPage.class) {
WebElement securityTabElement = new WebDriverWait(driver, 60)
.until(ExpectedConditions.elementToBeClickable(securityTab));
((JavascriptExecutor)driver).executeScript("arguments[0].click();", securityTabElement);
return nav.cast(new SecurityPage(driver));
}
if (nav == ResourcePage.class) {
WebElement resourceTabElement = new WebDriverWait(driver, 60)
.until(ExpectedConditions.elementToBeClickable(resourceTab));
((JavascriptExecutor)driver).executeScript("arguments[0].click();", resourceTabElement);
return nav.cast(new ResourcePage(driver));
}
throw new UnsupportedOperationException("Unknown nav bar");
}
可以看到,导航跳转统一采用"等待元素可点击 → 通过 JavascriptExecutor 触发点击 → 返回对应页面模型"的模式,超时设置为 60 秒,对页面加载较慢的环境更稳健。
页面内 Tab 跳转:SecurityPage.goToTab
安全中心页面(SecurityPage.java)提供 goToTab 方法,用于测试对应侧栏的跳转,覆盖:租户管理(TenantPage)、用户管理(UserPage)、工作组管理(WorkerGroupPage)和队列管理(QueuePage):
public <T extends SecurityPage.Tab> T goToTab(Class<T> tab) {
if (tab == TenantPage.class) {
WebElement menuTenantManageElement = new WebDriverWait(driver, 60)
.until(ExpectedConditions.elementToBeClickable(menuTenantManage));
((JavascriptExecutor)driver).executeScript("arguments[0].click();", menuTenantManageElement);
return tab.cast(new TenantPage(driver));
}
if (tab == UserPage.class) {
WebElement menUserManageElement = new WebDriverWait(driver, 60)
.until(ExpectedConditions.elementToBeClickable(menUserManage));
((JavascriptExecutor)driver).executeScript("arguments[0].click();", menUserManageElement);
return tab.cast(new UserPage(driver));
}
if (tab == WorkerGroupPage.class) {
WebElement menWorkerGroupManageElement = new WebDriverWait(driver, 60)
.until(ExpectedConditions.elementToBeClickable(menWorkerGroupManage));
((JavascriptExecutor)driver).executeScript("arguments[0].click();", menWorkerGroupManageElement);
return tab.cast(new WorkerGroupPage(driver));
}
if (tab == QueuePage.class) {
menuQueueManage().click();
return tab.cast(new QueuePage(driver));
}
throw new UnsupportedOperationException("Unknown tab: " + tab.getName());
}
这些子页面模型的实现方式同理,主要测试表单的输入、增加和删除按钮是否能够正确驱动页面状态变化。安全中心页面的实际运行形态如下图所示:
第四步:编写测试用例(以租户管理为例)
仓库中已实现的 E2E 测试案例包括:文件管理、项目管理、队列管理、租户管理、用户管理、Worker 分组管理、数据源(MySQL/PostgreSQL/Hive/SqlServer/Clickhouse)、集群、环境、令牌(Token)以及工作流(含 Shell/Python/HTTP/Java/Switch/子流程等任务类型)等,全部位于:
引入 compose 文件与前置准备
由于测试使用 docker-compose 部署,每个测试类都需要通过 @DolphinScheduler 注解引入对应的 compose 文件;同时使用 Selenium 提供的 RemoteWebDriver 加载浏览器。每个测试案例开始前都需要准备工作:登录用户、跳转到对应页面(视具体测试案例而定):
@BeforeAll
public static void setup() {
new LoginPage(browser)
.login("admin", "dolphinscheduler123") // 登录进入租户界面
.goToNav(SecurityPage.class) // 安全中心
.goToTab(TenantPage.class)
;
}
在真实的 TenantE2ETest.java 中,对应的写法是:
@DolphinScheduler(composeFiles = "docker/basic/docker-compose.yaml")
class TenantE2ETest {
...
@BeforeAll
public static void setup() {
new LoginPage(browser)
.login("admin", "dolphinscheduler123")
.goToNav(SecurityPage.class)
.goToTab(TenantPage.class);
}
用 @Order 组织用例顺序并用断言校验结果
正式测试用例使用 @Order() 注解进行模块化,确认测试执行顺序;测试完成后使用断言判断是否成功。以创建租户为例:
@Test
@Order(10)
void testCreateTenant() {
final TenantPage page = new TenantPage(browser);
page.create(tenant);
Awaitility.await().untilAsserted(() -> assertThat(page.tenantList())
.as("Tenant list should contain newly-created tenant")
.extracting(WebElement::getText)
.anyMatch(it -> it.contains(tenant)));
}
若断言返回 true,则表示创建租户成功。同一个测试类中通常还包含重复创建、更新、删除等用例(如 testCreateDuplicateTenant、testUpdateTenant、testDeleteTenant),它们依次覆盖"增、重、改、删"的完整业务链路,删除用例通过刷新页面后断言列表不再包含目标租户来验证。其余测试案例都是类似的组织方式,可参考 cases 目录 下的具体源码理解。
本地运行与调试技巧
在本地运行 E2E 测试前,需要先启动对应的本地服务,可参考 环境搭建文档。
测试基础设施层面有两个关键运行参数(其逻辑实现在 DolphinSchedulerExtension.java 中,分别由 LOCAL_MODE 与 M1_CHIP_FLAG 两个布尔值控制):
-Dlocal=true:连接本地服务(默认本地端口 5173),方便对 UI 界面进行改动后即时验证,而不必每次重新拉起整套 Docker 环境;-Dm1_chip=true:在 Apple M1 芯片的机器上使用,配置支持ARM64的浏览器容器镜像(仓库中指定为seleniarm/standalone-chromium),避免 Intel 镜像在 ARM 架构下无法运行。
运行过程中还有几点经验值得注意:
- 连接超时处理:如果出现连接超时,可增大加载时间,建议设置 30 秒及以上;
- 测试录像:测试运行过程会以 MP4 文件格式保存录像(
DolphinSchedulerExtension中通过withRecordingMode(RECORD_ALL, record.toFile(), MP4)开启全量录制,录制目录可通过环境变量RECORDING_PATH指定,未指定时默认写入临时目录),便于失败后回溯定位问题。
第五步:如何提交 Pull Request
参与开源社区的形式多种多样,包括提交 issue、pull request、文档翻译等。在参与 E2E 测试贡献的过程中,首先需要了解提交 pull request 的基本流程,包括分支管理、commit message 规范、代码格式检查(仓库根目录提供了 style/eclipse.importorder 与 style/spotless_dolphinscheduler_formatter.xml 等格式化约束)以及评审规则,完整流程请参考 Pull Request 指南。
结语
E2E 测试是 DolphinScheduler 保障"用户视角完整操作链路"正确性的重要防线,而当前测试覆盖尚未完全,正是贡献者参与的绝佳窗口。整个参与路径清晰直接:在 Issue 中按 e2e test cases 找到任务 → 对照字段理解测试要求(优先高优先级)→ 以页面对象模型为基础编写测试用例 → 用 -Dlocal / -Dm1_chip 等参数本地验证 → 按规范提交 PR。仓库中的 dolphinscheduler-e2e 模块已经沉淀了完整的页面模型与 20 余个测试案例,可作为新用例最直接的编写范本。





