Apache Kyuubi 项目中 Spark Driver 因 Ranger Solr 审计插件无法退出的问题分析

问题背景

在使用 Apache Kyuubi 1.8.0 和 Spark 3.3.1 的环境中，当通过 spark-submit 提交 SparkSQL 作业时，发现作业执行完成后 Spark Driver 进程无法正常退出。该问题发生在 YARN client 模式下，且启用了 Ranger Solr 审计插件。从日志分析可以看到，即使 SparkContext 已经停止，Ranger 的 PolicyRefresher 线程仍在持续运行，导致 Driver 进程无法终止。

问题根因分析

通过线程堆栈分析，发现问题的核心在于 SolrZkClient 创建的线程是非守护线程（non-daemon threads）。在 Java 中，JVM 会等待所有非守护线程结束后才会退出。具体表现为：

1. SolrZkClient 在初始化时创建了多个线程，包括连接管理线程和事件处理线程
2. 这些线程默认设置为非守护线程（daemon=false）
3. 当 SparkContext 停止后，这些线程仍然保持活跃状态
4. 由于存在活跃的非守护线程，JVM 无法正常退出

技术细节

在 Spark 的执行环境中，特别是 YARN client 模式下，Driver 进程的生命周期管理尤为重要。正常情况下：

• Spark 作业完成后，SparkContext 会被显式停止
• 所有相关资源应该被正确释放
• JVM 应该能够正常退出

但在启用 Ranger Solr 审计插件的情况下，Solr 的 ZooKeeper 客户端线程会阻止 JVM 退出。这与 Spark 的其他部署模式有所不同：

• YARN cluster 模式不会遇到此问题，因为 Driver 运行在 ApplicationMaster 中
• 长期运行的交互式环境（如 spark-shell）影响较小，因为用户可以手动终止

解决方案

经过验证，有以下两种解决方案：

临时解决方案

在 ranger 配置中禁用 Solr 审计功能：

xasecure.audit.destination.solr = false

根本解决方案

修改 SolrZkClient 的实现，将其创建的线程设置为守护线程（daemon=true）。这需要修改 Solr 的源代码，具体涉及：

1. 在创建线程时显式设置 daemon 标志
2. 确保线程池配置正确
3. 在适当的时候清理资源

最佳实践建议

对于使用 Apache Kyuubi 和 Ranger 审计功能的用户，建议：

1. 评估是否必须使用 Solr 审计功能
2. 如果必须使用，考虑升级到修复了此问题的 Solr 版本
3. 在开发环境中充分测试线程行为
4. 监控生产环境中 Driver 进程的生命周期

总结

这个问题展示了在复杂的大数据生态系统中，组件间线程管理的重要性。作为开发者需要：

• 理解不同线程类型对 JVM 生命周期的影响
• 在集成多个组件时注意资源清理机制
• 针对不同部署模式进行充分测试

该问题的解决不仅限于 Kyuubi 项目，对于所有在 Spark 环境中使用 Ranger Solr 审计插件的场景都具有参考价值。