Apache DolphinScheduler JDBC注册中心重构：支持会话超时与数据变更事件

背景与现状分析

Apache DolphinScheduler作为分布式任务调度系统，其服务注册与发现机制是系统稳定运行的关键组件。当前版本中基于JDBC的注册中心实现存在几个显著问题：

1. 架构设计不够清晰，代码维护困难
2. 客户端心跳数据与业务数据耦合，调试不便
3. 缺乏客户端配置灵活性（如会话超时时间）
4. 数据变更事件可能丢失，可靠性不足

这些问题在实际生产环境中可能引发服务发现不及时、故障恢复慢等问题，亟需架构层面的重构优化。

重构设计方案

整体架构设计

新的JDBC注册中心采用清晰的分层架构，主要包含两个核心组件：

1. JdbcRegistryServer：服务端组件，每个服务实例启动时创建

   • 负责维护客户端心跳状态
   • 处理客户端各类请求
   • 监控会话超时并清理失效客户端

2. JdbcRegistryClient：客户端组件

   • 提供数据CRUD操作接口
   • 支持分布式锁获取
   • 订阅数据变更和连接状态事件

数据存储设计

重构方案引入了两张核心表来解耦功能：

1. 客户端心跳表(t_ds_jdbc_registry_client_heartbeat)

   • 专门记录活跃客户端的心跳信息
   • 服务端定期检查并清理超时会话
   • 心跳数据与业务数据分离，便于监控调试

2. 数据变更事件表(t_ds_jdbc_registry_data_change_event)

   • 完整记录所有数据变更事件
   • 采用增量事件机制确保不丢失变更
   • 自动清理过期事件（默认2小时）

关键技术实现

会话超时管理

服务端通过定时任务检查客户端心跳状态，关键参数包括：

• 心跳间隔：客户端定期上报存活状态
• 会话超时：超过此时长未收到心跳视为失效
• 清理延迟：避免网络抖动导致的误判

可靠事件通知机制

针对原有方案的事件丢失问题，新设计采用：

1. 事务性写入：数据变更与事件记录原子化
2. 事件溯源：完整记录每次变更操作
3. 增量消费：客户端基于事件ID顺序处理

客户端配置灵活性

支持每个客户端独立配置：

• 心跳间隔参数
• 会话超时阈值
• 事件处理策略
• 连接重试机制

优势与价值

1. 可靠性提升：确保服务发现及时准确，避免脑裂问题
2. 可维护性增强：清晰的分层架构和模块划分
3. 可观测性改进：独立的心跳表和事件表便于监控
4. 配置灵活性：支持客户端差异化配置
5. 事件完整性：保证不丢失任何数据变更通知

实施建议

1. 数据迁移：需要重建注册表结构，不兼容旧版本
2. 灰度发布：建议先在小规模环境验证
3. 监控指标：新增心跳延迟、事件积压等监控项
4. 参数调优：根据实际负载调整心跳和超时参数

这次重构使Apache DolphinScheduler的JDBC注册中心具备了生产级可靠性，为大规模分布式部署提供了更稳健的基础设施支持。