Kyuubi项目中Spark Driver因Ranger Solr审计插件无法退出的问题分析

问题背景

在Kyuubi 1.8.0与Spark 3.3.1集成的环境中，当使用Spark SQL作业通过spark-submit提交时，发现一个异常现象：作业执行成功后，Spark Driver进程却无法正常退出。经过排查，发现这与Ranger Solr审计插件有关，特别是当启用了Solr审计功能时，会导致Driver进程持续运行。

问题现象

具体表现为：

1. Spark作业逻辑执行完成
2. SparkContext已正常停止
3. 但Driver进程仍然保持活动状态
4. 日志显示PolicyRefresher线程仍在持续从Ranger轮询策略

根本原因分析

通过线程堆栈分析，发现问题根源在于SolrZkClient创建的线程是非守护线程(daemon=false)。在Java中，JVM会等待所有非守护线程结束后才会退出。具体表现为：

1. Solr审计插件内部使用了ZooKeeper客户端(SolrZkClient)
2. 该客户端创建的连接管理线程被标记为非守护线程
3. 即使SparkContext已停止，这些线程仍然保持活跃
4. 导致JVM无法正常退出，Driver进程挂起

解决方案验证

经过多种方案验证，确认以下两种解决方式：

临时解决方案

在ranger配置中禁用Solr审计功能：

xasecure.audit.destination.solr = false

这种方式简单有效，但会牺牲Solr审计功能。

根本解决方案

修改SolrZkClient实现，将其创建的线程标记为守护线程。经过实际验证，这种方式可以彻底解决问题，同时保留完整的审计功能。

技术原理深入

在Spark on YARN client模式下，Driver运行在提交节点上，其生命周期管理尤为重要。当出现非守护线程时，会导致：

1. Spark作业完成后，SparkContext正常关闭
2. 但JVM检测到仍有活跃的非守护线程
3. 根据Java线程模型，JVM会等待所有非守护线程结束
4. 最终导致Driver进程无法退出

这与YARN cluster模式不同，因为cluster模式下Driver运行在ApplicationMaster中，由YARN负责生命周期管理。

最佳实践建议

对于使用Kyuubi+Spark+Ranger Solr审计的用户，建议：

1. 评估是否必须使用Solr审计功能
2. 如非必要，可采用临时方案禁用Solr审计
3. 如需完整功能，应升级Solr版本或应用相应补丁
4. 定期检查线程状态，确保没有异常的非守护线程

总结

这个问题典型地展示了Java线程模型与分布式计算框架交互时可能产生的微妙问题。通过本次分析，我们不仅解决了具体的技术问题，更重要的是建立了一套分析类似问题的框架：从现象观察、线程分析、方案验证到根本解决。这种分析思路可以应用于其他类似的JVM进程无法退出的场景。