Apache DolphinScheduler Kubernetes任务内存泄漏问题分析与解决方案

问题背景

在Apache DolphinScheduler工作流调度系统中，Kubernetes任务执行时会使用KubernetesApplicationManager来管理Kubernetes客户端连接。该管理器采用缓存机制来维护活跃的Kubernetes客户端实例，以提高任务执行效率。

问题现象

系统运维人员发现，当Kubernetes任务成功执行完成后，相关客户端连接并未被正确释放。通过监控发现，KubernetesApplicationManager中的缓存对象会随着任务执行次数的增加而不断累积，最终导致内存泄漏问题。

技术分析

深入分析代码实现后发现，问题的根源在于缓存清理逻辑存在缺陷：

1. KubernetesApplicationManager仅在以下三种情况下会清理缓存：

   • 任务被手动终止时
   • 任务执行抛出异常时
   • 系统发生故障转移时

2. 对于正常执行完成的Kubernetes任务，系统没有触发缓存清理机制，导致相关资源无法被释放。

影响范围

该问题主要影响以下版本：

• DolphinScheduler 3.2.x系列版本
• 所有使用Kubernetes任务类型的场景

长期运行的系统会逐渐积累未释放的Kubernetes客户端连接，最终可能导致：

• 内存占用持续增长
• 系统性能下降
• 潜在的资源耗尽风险

解决方案

修复方案的核心思路是确保在所有任务执行路径上都能正确清理缓存资源。具体实现包括：

1. 在任务正常完成回调中增加缓存清理逻辑
2. 完善异常处理机制，确保在各种异常情况下都能释放资源
3. 添加资源释放的日志记录，便于问题追踪

最佳实践建议

对于正在使用受影响版本的用户，建议：

1. 及时升级到包含修复的版本
2. 对于暂时无法升级的系统，可以定期重启服务来释放积累的资源
3. 加强对系统内存使用的监控，设置合理的告警阈值

总结

内存管理是分布式系统设计中的重要课题。这次问题的发现和解决过程提醒我们：

• 资源释放需要覆盖所有执行路径
• 缓存机制需要配套完善的清理策略
• 系统监控是发现潜在问题的重要手段

通过这次修复，DolphinScheduler在Kubernetes任务支持方面变得更加健壮，为大规模生产环境的使用提供了更好的保障。