Apache Kyuubi项目中Spark Driver因Ranger Solr审计插件无法退出的问题分析

问题背景

在使用Apache Kyuubi 1.8.0与Spark 3.3.1组合时，当通过spark-submit提交SparkSQL作业时发现一个异常现象：作业执行成功后，Spark Driver进程却无法正常退出。通过日志分析发现，这是由于Ranger Solr审计插件中的PolicyRefresher线程持续运行导致的。

问题本质

深入分析后发现，这实际上是一个典型的非守护线程(non-daemon thread)阻塞JVM退出的问题。在Java中，JVM会等待所有非守护线程结束后才会退出。而在Spark的YARN client模式下，当SparkContext停止后，某些第三方组件创建的非守护线程如果没有正确关闭，就会导致Driver进程无法退出。

技术分析

通过线程堆栈分析，可以确认问题根源在于Ranger Solr审计插件中的几个关键线程：

1. SolrZkClient线程：这是由Solr客户端创建的连接管理线程，默认设置为非守护线程
2. PolicyRefresher线程：Ranger用于定期刷新策略的线程
3. 审计队列线程：负责处理审计日志的发送

其中最关键的是SolrZkClient线程，它在创建时没有设置为守护线程，导致即使SparkContext已经停止，这些线程仍然保持运行状态，阻止了JVM的正常退出。

解决方案

经过验证，有以下几种可行的解决方案：

1. 临时解决方案： 禁用Solr审计功能，通过设置xasecure.audit.destination.solr为false来避免创建相关线程

2. 根本解决方案： 修改SolrZkClient的线程创建逻辑，将其设置为守护线程。这需要修改Solr的源代码，确保在创建客户端线程时显式设置为守护线程

3. 架构建议： 对于所有在Spark Driver中运行的第三方组件，都应确保其创建的线程是守护线程，以避免类似问题

最佳实践

对于使用Apache Kyuubi与Spark集成的用户，建议：

1. 在YARN cluster模式下运行作业，该模式下不会出现此类问题
2. 定期检查第三方组件的线程管理策略
3. 在开发自定义插件或组件时，始终使用守护线程
4. 对于必须使用非守护线程的场景，确保提供明确的关闭机制

总结

这个问题揭示了在复杂的大数据生态系统中，组件间集成时线程管理的重要性。通过深入分析线程行为，我们不仅找到了问题的根源，还提出了多种解决方案。这也提醒开发者，在开发面向Spark等框架的插件时，必须特别注意线程的生命周期管理，以确保系统的稳定性和可靠性。