Apache DolphinScheduler 任务重复调度问题分析与解决方案

问题背景

在Apache DolphinScheduler的工作流执行过程中，当一个任务有多个前置任务时，如果这些前置任务在短时间内相继完成，系统可能会多次触发后续任务的启动事件。这种现象会导致同一个任务被重复调度多次，不仅浪费系统资源，还可能引发任务执行状态的混乱。

问题现象

通过分析系统日志可以发现，当多个前置任务快速完成时，系统会连续发布多个TaskStartLifecycleEvent事件。这些事件会被放入处理队列，在第一个事件尚未被处理完成前，后续相同的事件已经堆积在队列中。最终导致同一个任务的TaskDispatchLifecycleEvent被多次发布，任务被重复调度执行。

根本原因

问题的根源在于AbstractWorkflowStateAction类中的triggerTasks方法没有对已经处于激活状态的任务执行器进行过滤检查。当前代码仅检查任务是否满足启动条件，但没有验证任务执行器是否已经处于激活状态。

解决方案

我们提出了两种可能的解决方案：

1. 方案一：在triggerTasks方法中添加过滤条件，排除已经激活的任务执行器

.filter((successor) -> !workflowExecutionGraph.isTaskExecutionRunnableActive(successor))

2. 方案二：在WorkflowExecutionGraph类的isTaskExecutionRunnableActive方法开头添加状态检查

if (!isTaskExecutionRunnableActive(taskExecutionRunnable)) { return false; }

经过评估，第二种方案更为合理，因为它将状态检查逻辑封装在WorkflowExecutionGraph类内部，保持了更好的代码内聚性。

实现细节

最终采用的解决方案是在WorkflowExecutionGraph类中添加状态检查逻辑。具体实现如下：

1. 在任务执行前检查执行器是否已激活
2. 如果执行器已处于激活状态，则直接返回false，避免重复调度
3. 这种设计确保了任务的幂等性，即使收到多个启动事件，也不会导致重复执行

影响范围

该修复主要影响以下场景：

• 具有多个前置任务的复杂工作流
• 前置任务几乎同时完成的场景
• 高并发环境下的任务调度

验证方法

为了验证修复效果，可以通过以下方式测试：

1. 创建具有多个前置任务的工作流
2. 确保前置任务几乎同时完成
3. 观察后续任务是否被正确调度且不重复

总结

通过对Apache DolphinScheduler任务调度机制的优化，我们解决了任务重复调度的问题。这一改进不仅提高了系统的稳定性，还优化了资源利用率，特别是在处理复杂依赖关系的工作流时效果显著。该解决方案已被合并到项目的主干代码中，将在未来的版本中发布。