Apache Kyuubi 中查询状态提前返回但作业仍在执行的问题分析

问题现象

在使用 Apache Kyuubi 提交 Spark 查询时，发现了一个异常现象：Kyuubi 会快速返回查询状态为 FINISHED，但实际上 Spark 作业仍在后台继续执行。这种情况主要出现在以下特定场景中：

1. 执行包含 JOIN 操作的 SQL 查询
2. JOIN 的一侧结果集为空（0行）
3. 另一侧结果集数据量较大

问题重现与验证

通过测试可以稳定重现该问题。例如执行如下SQL：

select *
from (
    select sum(ss_net_profit) as sum_net_pro
    from test.store_sales
    group by ss_sold_date_sk, ss_sold_time_sk, ss_item_sk
) t1
join (
    select ss_item_sk
    from test.store_sales
    where ss_net_paid = 101930291
    and ss_ext_discount_amt = 1
) t2 on t1.sum_net_pro = t2.ss_item_sk

当右侧子查询结果为空时，Kyuubi 会立即返回 FINISHED 状态，但实际上左侧的大数据量子查询仍在执行。

技术原理分析

Spark 自适应查询执行(AQE)机制

Spark 的自适应查询执行(AQE)功能会优化执行计划。当检测到JOIN的一侧为空时，AQE会优化掉不必要的计算，直接返回空结果。这是设计上的预期行为。

遗留作业未取消的问题

虽然查询逻辑上已经完成，但另一侧的大数据量子查询仍在执行，这是因为：

1. Spark AQE 在检测到一侧为空后，理论上应该取消另一侧的计算
2. 但Spark内部实现上存在已知问题，没有立即取消这些"无意义"的计算任务
3. 这会导致集群资源被无效占用

Kyuubi 行为差异

进一步测试发现：

1. 通过Beeline客户端提交查询时，遗留作业会被正确取消
2. 通过REST API提交查询时，遗留作业不会被取消

这是因为REST API会话没有正确调用SparkOperation的close方法和cancelJobGroup，导致作业取消逻辑没有被触发。

解决方案

针对这个问题，社区已经提出了修复方案：

1. 在ExecuteStatement#executeStatement中显式调用cancelJobGroup
2. 确保REST API会话正确清理资源

对于当前版本的用户，可以采取以下临时解决方案：

1. 在获取到FINISHED状态后，手动关闭操作
2. 或者等待社区版本修复后升级

最佳实践建议

1. 对于包含JOIN的查询，特别是已知一侧可能为空的场景，建议添加结果检查
2. 在使用REST API时，注意及时关闭已完成的操作
3. 监控长时间运行的Spark作业，及时识别和终止无效计算
4. 考虑升级到包含修复的版本

总结

这个问题揭示了分布式查询引擎中查询状态管理与实际执行之间可能存在的差异。理解Spark AQE的优化机制和Kyuubi的资源管理逻辑，有助于开发更健壮的大数据应用。对于关键业务场景，建议进行充分的测试和验证，确保系统行为符合预期。