Apache Kyuubi 中查询状态提前返回但作业仍在执行的问题分析

问题现象

在使用Apache Kyuubi提交Spark查询时，发现一个异常现象：当执行特定类型的SQL查询时，Kyuubi会快速返回FINISHED状态，但实际上Spark作业仍在后台继续执行。这种情况特别容易发生在左连接(LEFT JOIN)查询中，当左表为空而右表数据量较大时。

问题复现与定位

通过多次测试发现，这个问题在以下场景中可稳定复现：

1. 查询包含LEFT JOIN操作
2. 左表查询结果为空(0行)
3. 右表数据量较大(数千万行以上)
4. 使用Spark 3.4.2版本和Kyuubi 1.8.0/1.8.1/1.9.0版本

典型的问题SQL模式如下：

SELECT *
FROM (SELECT uid FROM empty_table WHERE condition) t1
LEFT JOIN (SELECT vendor_id FROM large_table) t2 
ON t1.uid = t2.vendor_id
LIMIT 5;

技术原理分析

Spark查询优化机制

Spark的查询优化器(AQE)在检测到LEFT JOIN的一侧为空时，会进行优化，直接返回空结果集。这是Spark的一种合理优化行为，因为无论另一侧数据如何，结果都必然为空。

Kyuubi状态管理机制

Kyuubi作为Spark SQL的网关服务，其状态管理基于Spark作业的执行情况。当Spark优化器确定结果为空时，Kyuubi会立即收到FINISHED状态，这是预期的行为。

未取消作业的问题根源

问题的关键在于，虽然查询结果已经确定为空，但Spark仍在后台继续处理右表的大规模数据。理想情况下，这些不必要的计算应该被立即取消。经过深入分析，发现：

1. 通过REST API提交查询时，Kyuubi没有正确调用SparkContext的cancelJobGroup方法
2. 只有在手动关闭操作或通过Beeline客户端提交时，才会触发作业取消
3. 这是一个Kyuubi REST API实现上的缺陷，而非Spark核心问题

解决方案

Apache Kyuubi社区已经针对此问题提交了修复方案，主要改进点包括：

1. 在ExecuteStatement#executeStatement中显式调用cancelJobGroup
2. 确保REST API会话正确清理Spark操作资源
3. 完善状态转换和资源释放的逻辑

临时解决方案

对于使用受影响版本的用户，可以采取以下临时措施：

1. 在获取到FINISHED状态后，手动关闭对应的操作
2. 考虑使用Beeline客户端而非REST API提交查询
3. 监控长时间运行的Spark作业并及时干预

最佳实践建议

1. 对于包含JOIN的查询，特别是可能产生空结果集的查询，应添加适当的过滤条件
2. 定期升级Kyuubi和Spark到最新稳定版本
3. 在生产环境中实施查询超时机制
4. 监控系统资源使用情况，及时发现异常长时运行的作业

这个问题展示了分布式查询引擎中状态管理和资源协调的复杂性，也提醒我们在使用高阶抽象服务时，需要理解其底层实现机制。