Apache DolphinScheduler 高可用架构中的故障转移优化方案

背景与问题分析

在分布式任务调度系统Apache DolphinScheduler的Master/Worker架构中，节点故障转移是一个关键的高可用保障机制。当前实现中存在一个潜在问题：当Master或Worker节点与注册中心(如Zookeeper)发生短暂断开连接后又重新连接时，可能导致重复的工作流/任务执行。

这种情况通常发生在网络波动或注册中心短暂不可用时。以Zookeeper为例，假设会话超时时间为120秒，当心跳检测在80秒内失败时，服务器会进入挂起状态。如果此时节点成功重新连接到另一个Zookeeper节点，它将继续工作。但在这个过程中，其他节点可能已经收到了该节点的断开事件，从而触发故障转移流程。

问题本质

这种场景下会产生两个核心问题：

1. 同一工作流/任务可能被多个节点同时执行，导致重复处理
2. 系统状态可能出现不一致，影响调度准确性

解决方案设计

FAILOVER_FINISH_NODES机制

为了解决这个问题，我们引入了一个名为FAILOVER_FINISH_NODES的注册中心节点。该机制的核心思想是：

1. 唯一标识：每个服务器使用"地址+服务器启动时间"作为其唯一标识
2. 故障转移记录：一旦某个服务器被故障转移处理过，它的标识就会被记录在FAILOVER_FINISH_NODES下
3. 自我终止：任何服务器在启动或重新连接时，如果发现自己的标识存在于FAILOVER_FINISH_NODES中，就会主动终止运行

实现细节

1. 节点标识生成：在节点启动时，生成包含IP地址和精确启动时间戳的唯一标识
2. 故障转移流程：
   • 当检测到节点失联时，执行故障转移的节点会将被转移节点的标识写入FAILOVER_FINISH_NODES
   • 写入操作需要保证原子性和一致性
3. 节点重启检查：
   • 节点在启动或重新连接注册中心时，首先检查自己的标识是否存在于FAILOVER_FINISH_NODES
   • 如果存在，则立即终止运行并记录告警日志

技术优势

1. 避免重复执行：确保被故障转移的节点不会重新加入集群执行任务
2. 状态一致性：维护了集群状态的强一致性，防止脑裂问题
3. 自我修复：节点能够自主判断是否需要终止，减少人工干预
4. 可追溯性：通过记录故障转移历史，便于问题排查和系统监控

应用场景

这种机制特别适合以下场景：

• 网络不稳定的生产环境
• 大规模集群部署
• 对任务执行准确性要求高的业务场景
• 需要长时间稳定运行的定时调度任务

总结

通过在Apache DolphinScheduler中引入FAILOVER_FINISH_NODES机制，我们有效解决了短暂网络问题导致的重复执行问题，提高了系统的可靠性和一致性。这一改进使得DolphinScheduler在高可用场景下的表现更加稳健，为企业的关键任务调度提供了更有力的保障。