Kyuubi项目中Spark Driver因Ranger Solr审计插件无法退出的问题分析

问题背景

在Kyuubi 1.8.0与Spark 3.3.1集成的环境中，当使用开源Spark引擎并启用Kyuubi Authz模块时，发现一个典型问题：Spark SQL作业在YARN客户端模式下执行完成后，Spark Driver进程无法正常退出。该问题表现为即使SparkContext已停止，PolicyRefresher线程仍在持续从Ranger轮询策略，导致Driver进程持续运行。

问题现象

通过线程堆栈分析，可以观察到以下关键现象：

1. 作业执行成功后，Spark Driver进程未按预期终止
2. 日志显示PolicyRefresher线程持续活跃
3. 需要手动终止作业才能结束进程

根本原因分析

深入分析线程堆栈后，发现问题根源在于Ranger Solr审计插件创建的线程：

1. 非守护线程阻塞：SolrZkClient创建的线程默认设置为非守护线程(non-daemon)
2. 线程生命周期不匹配：这些线程在SparkContext停止后仍然保持活跃
3. 特定模式影响：该问题主要影响YARN客户端模式和K8s集群模式，而YARN集群模式不受影响

技术细节

在Java虚拟机中，线程分为两种类型：

• 守护线程(daemon thread)：不会阻止JVM退出
• 非守护线程(non-daemon thread)：会阻止JVM退出

Spark Driver作为短期进程运行时，所有第三方组件都应使用守护线程。然而，SolrZkClient默认创建非守护线程，导致在SparkContext停止后，这些线程仍然阻止JVM退出。

解决方案

经过验证，有效的解决方案包括：

1. 临时解决方案：

   • 禁用Solr审计功能：通过设置xasecure.audit.destination.solr为false

2. 根本解决方案：

   • 修改SolrZkClient实现，使其创建守护线程
   • 该方案已提交至Solr社区进行评审

最佳实践建议

对于使用Kyuubi与Ranger集成的用户，建议：

1. 在短期Spark作业场景中，评估是否必须启用Solr审计
2. 如需Solr审计功能，考虑升级到包含修复的Solr版本
3. 定期检查线程堆栈，确认无意外非守护线程
4. 对于关键生产环境，建议进行全面测试验证

总结

这个问题展示了分布式系统中线程管理的重要性，特别是在多组件集成的复杂环境中。通过深入分析线程行为，我们不仅找到了临时解决方案，还提出了长期架构改进建议。这种类型的问题也提醒开发者，在集成第三方组件时需要特别关注其线程管理策略，特别是在短期进程场景中。