Apache Paimon JDBC锁连接失效导致快照提交失败问题分析

问题背景

在Apache Paimon 0.9.0版本中，使用Java API对接Kafka实时数据写入时，发现了一个关于JDBC锁连接管理的稳定性问题。当系统长时间没有数据写入后再次接收数据时，快照提交操作会失败，导致数据丢失。

问题现象

具体表现为：当FileStoreCommitImpl对象首次成功写入数据后，如果经历较长时间（如24小时）没有新数据到达，当下次数据到达并尝试提交快照时，系统会在JdbcCatalogLock的runWithLock方法处失败。根本原因是JDBC连接已被远程数据库服务器关闭，导致锁获取失败，进而造成快照丢失。

技术分析

当前实现机制

当前Paimon的JDBC锁实现直接使用了DriverManager.getConnection来获取数据库连接，这种方式存在几个明显缺陷：

1. 连接生命周期管理不足，无法自动检测和恢复失效连接
2. 缺乏连接池机制，每次操作都需要新建连接
3. 没有实现连接有效性验证(testOnBorrow)机制

问题根源

数据库服务器通常会设置连接空闲超时时间（如MySQL默认8小时），当连接超过这个时间没有活动时，服务器端会主动关闭连接。而客户端如果继续使用这个已经关闭的连接，就会抛出类似"最后一个数据包成功接收于86400000毫秒前"的错误。

解决方案

引入连接池管理

建议采用成熟的连接池技术（如Druid）来管理JDBC连接，替代当前的直接连接方式。连接池可以提供以下关键功能：

1. 连接复用：避免频繁创建和销毁连接
2. 失效检测：定期验证连接有效性
3. 自动恢复：当连接失效时自动创建新连接
4. 健康检查：提供连接健康状态监控

架构优化建议

1. 将ClientPool设计为连接池的行为规范接口，而非具体实现
2. 允许针对不同锁类型使用不同的连接池实现
3. 增加连接参数配置，如最大空闲时间、验证查询等

实现建议

在具体实现上，可以考虑以下改进：

1. 使用Druid连接池管理JDBC连接
2. 配置合理的连接池参数：
   • 设置validationQuery="SELECT 1"
   • 配置testWhileIdle=true
   • 设置timeBetweenEvictionRunsMillis
3. 实现连接失效时的自动重试机制
4. 添加连接状态监控和告警

总结

JDBC连接管理是分布式系统稳定性的重要基础组件。通过引入专业的连接池管理，可以显著提高Paimon在长时间运行场景下的稳定性，避免因连接失效导致的数据丢失问题。这一改进不仅解决了当前的具体问题，也为系统未来的扩展性打下了更好基础。