Kyuubi项目中Batch会话的生命周期管理问题分析

背景介绍

Kyuubi是一个基于Apache Spark的分布式SQL引擎服务，提供了REST API接口来提交和管理Spark作业。在实际使用中，用户通过Kyuubi的Batch REST API提交Spark作业后，发现即使作业已经完成，相关的Batch会话仍然保持活跃状态，没有自动关闭。

问题现象

当用户通过Kyuubi的Batch REST API提交Spark作业后，观察到以下现象：

1. 作业完成后，Batch会话不会自动关闭
2. 如果不手动调用DELETE API删除会话，会话会一直保持到配置的kyuubi.batch.session.idle.timeout超时
3. 尝试手动删除已完成的Batch会话时，会收到"batch is already terminal so can not kill it"的提示

技术分析

经过分析，这是Kyuubi的预期设计行为，而非bug。设计原因如下：

1. 日志访问需求：保持Batch会话活跃可以确保用户能够继续从服务端检索作业日志。如果会话立即关闭，日志访问功能将不可用。

2. 状态管理：Kyuubi区分了作业状态和会话状态。作业可能已完成，但会话需要保持以提供元数据查询等服务。

3. 资源回收：虽然会话保持活跃，但Spark作业本身的资源会被正确释放，不会造成资源浪费。

解决方案与建议

对于这一设计，可以考虑以下优化方向：

1. 会话超时配置：当前使用全局配置kyuubi.batch.session.idle.timeout控制会话超时，未来可考虑支持通过Batch API为单个会话设置特定的超时时间。

2. 状态通知机制：可以增强API，提供更明确的会话生命周期状态通知，帮助用户理解当前会话状态。

3. 资源使用监控：虽然会话保持，但应确保不会占用过多服务端资源，需要合理的资源回收机制。

最佳实践建议

对于使用Kyuubi Batch API的用户，建议：

1. 根据业务需求合理配置全局的kyuubi.batch.session.idle.timeout参数
2. 在不需要访问日志后，可以主动关闭会话以释放服务端资源
3. 监控长时间存活的会话，避免资源浪费

总结

Kyuubi保持Batch会话活跃的设计是为了提供更好的日志访问和状态查询功能，这是经过权衡后的合理设计。用户应理解这一行为并根据实际需求进行适当配置和管理。未来版本可能会提供更灵活的会话生命周期控制选项，以满足不同场景的需求。