Apache DolphinScheduler 任务执行引擎统一化架构设计

背景与挑战

在分布式任务调度系统Apache DolphinScheduler中，长期以来存在着两套相似的任务执行机制：逻辑任务执行（在Master容器中执行）和物理任务执行（在Worker容器中执行）。这两套机制虽然功能相似，但在代码实现上却相互独立，导致开发维护时需要同时修改两处代码，增加了系统复杂度与维护成本。

设计目标

为解决上述问题，我们提出在DolphinScheduler中新增dolphinscheduler-task-executor模块，通过统一的TaskEngine来重构任务执行流程。该设计旨在：

1. 统一任务执行逻辑，消除代码重复
2. 提供灵活的任务执行容器模型
3. 实现清晰的任务生命周期管理
4. 提高系统的可维护性和扩展性

核心架构设计

整体架构

新的执行引擎采用分层设计，WorkflowEngine通过TaskExecutorClient与TaskEngine进行通信。TaskEngine不仅响应任务执行控制指令，还能向Master发送运行时事件。这种设计实现了控制流与数据流的分离，提高了系统的响应能力和可观测性。

关键组件

TaskExecutor

作为任务执行的核心抽象，每个TaskExecutor代表一个运行时任务实例。其内部采用事件驱动架构，通过专用EventBus处理所有任务生命周期事件。这种设计具有以下优势：

• 所有操作都转化为TaskExecutorLifecycleEvent异步处理
• 事件按顺序处理，避免并发问题
• 状态变更与业务逻辑解耦

TaskExecutorRepository

作为运行时任务仓库，负责管理活跃的TaskExecutor实例。任务执行完成后自动从仓库移除，实现资源的自动回收。

TaskExecutorContainerDelegator

任务容器代理层，提供两种任务执行容器模式：

1. 共享线程容器(SharedThreadTaskExecutorContainer)

   • 单个工作线程可执行多个任务
   • 适用于非阻塞型或短时任务
   • 提高线程利用率，减少资源消耗

2. 独占线程容器(ExclusiveThreadTaskExecutorContainer)

   • 每个任务独占工作线程
   • 适用于长时运行或阻塞型任务
   • 保证任务执行不受干扰

这种双模式设计使系统能够根据任务特性灵活分配资源，在吞吐量和响应性之间取得平衡。

TaskExecutorEventBusCoordinator

事件总线协调器，负责将TaskExecutor分配到合适的TaskExecutorEventBusFireWorker。该组件实现了：

• 动态负载均衡
• 异常隔离
• 资源配额管理

任务生命周期管理

新的执行引擎定义了清晰的任务状态转换机制：

1. 初始化阶段：任务提交后创建TaskExecutor实例
2. 准备阶段：加载依赖资源，验证执行环境
3. 调度阶段：根据任务特性分配到合适的执行容器
4. 执行阶段：实际任务处理过程
5. 完成阶段：清理资源，发送结果事件

整个生命周期通过事件总线驱动，状态转换原子化，确保系统在异常情况下也能保持一致性。

技术实现要点

事件驱动架构

采用事件总线作为内部通信机制，所有操作都转化为事件进行处理。这种设计带来以下好处：

• 解耦组件间的直接依赖
• 易于扩展新的事件处理器
• 支持异步非阻塞处理
• 便于实现事务性操作

线程模型优化

根据任务特性提供两种线程模型：

1. IO密集型任务：适合共享线程模型，通过少量线程服务大量任务
2. CPU密集型任务：适合独占线程模型，避免资源竞争

执行引擎会自动监控任务行为特征，动态调整线程分配策略。

容错机制

设计包含多层容错保护：

1. 任务级别隔离：单个任务异常不会影响其他任务
2. 自动重试机制：可配置的重试策略
3. 死锁检测：自动发现并解除资源死锁
4. 心跳监控：实时检测僵尸任务

预期收益

该架构改造将为DolphinScheduler带来显著改进：

1. 代码可维护性提升：消除重复代码，统一执行路径
2. 资源利用率提高：智能的线程分配策略
3. 系统稳定性增强：完善的容错机制
4. 扩展性改善：清晰的内核接口，便于添加新任务类型
5. 可观测性提升：统一的任务生命周期事件

总结

通过引入统一的TaskEngine架构，DolphinScheduler实现了任务执行逻辑的标准化和模块化。这种设计不仅解决了当前版本中的代码重复问题，还为未来的功能扩展奠定了坚实基础。特别是灵活的执行容器模型和事件驱动的架构，使系统能够适应各种复杂的任务调度场景，为用户提供更稳定、高效的任务执行服务。