Apache Kyuubi 中的查询超时线程泄漏问题分析与修复

问题背景

Apache Kyuubi 作为一个分布式 SQL 引擎服务，在处理大量并发查询时需要有效地管理线程资源。在最新版本中发现了一个潜在的线程泄漏问题，主要涉及查询超时监控线程未能正确关闭的情况。

问题现象

当 Kyuubi 的会话管理器（Session Manager）中的线程池（ThreadPoolExecutor）拒绝执行异步操作（asyncOperation）时，系统会创建一个名为"query-timeout-thread"的线程用于监控查询超时。然而，在某些异常情况下，这个监控线程没有被正确关闭，导致线程资源泄漏。

技术分析

线程泄漏机制

1. 正常流程：当查询正常执行时，系统会创建超时监控线程，并在查询完成后自动关闭该线程。

2. 异常流程：当线程池拒绝执行任务时（可能由于资源耗尽或线程池被关闭），虽然查询没有被执行，但超时监控线程已经被创建且没有被后续流程关闭。

影响范围

• 资源消耗：泄漏的线程会持续占用系统资源
• 系统稳定性：长期运行可能导致线程数不断增长，最终影响系统性能
• 版本影响：该问题主要存在于主分支代码中

解决方案

修复方案主要围绕以下几个方面：

1. 异常处理增强：在任务被拒绝执行的异常处理分支中，显式关闭已创建的超时监控线程。

2. 资源管理改进：确保所有可能的代码路径都能正确清理临时创建的线程资源。

3. 防御性编程：添加额外的状态检查，防止在异常情况下资源泄漏。

实现细节

修复代码主要修改了任务提交和处理逻辑：

• 在任务被拒绝时捕获异常
• 获取并中断已创建的超时监控线程
• 清理相关资源
• 向上抛出适当的异常信息

最佳实践建议

对于使用 Kyuubi 的开发者和运维人员，建议：

1. 监控线程数量：定期检查系统中运行的线程数量，特别是名为"query-timeout-thread"的线程。

2. 合理配置线程池：根据实际负载情况调整会话管理器的线程池大小，避免频繁触发拒绝策略。

3. 版本升级：及时升级到包含此修复的版本，避免潜在资源泄漏问题。

总结

线程泄漏是分布式系统中常见的资源管理问题，Kyuubi 社区通过这次修复进一步完善了系统的健壮性。该问题的解决体现了开源社区对系统稳定性和资源管理的持续关注，也为用户提供了更可靠的查询服务保障。