Apache Kyuubi 项目移除 Spark 3.1 支持的技术解析

Apache Kyuubi 作为企业级数据湖分析平台，近期完成了对 Spark 3.1 支持的移除工作。这一技术决策体现了开源项目对技术栈持续优化的追求，也反映了大数据生态系统的演进方向。

背景与动机

在 Kyuubi 1.9.0 版本中，项目团队已经将 Spark 3.1 标记为"已弃用"状态。经过合理的过渡期后，现在正式移除了对 Spark 3.1 的支持。这种渐进式的技术演进策略既保证了用户的平滑过渡，又能让项目保持技术先进性。

Spark 3.1 发布于2021年3月，作为 Spark 3.x 系列的早期版本，其功能特性和性能优化相对有限。随着 Spark 3.2、3.3 等后续版本的发布，社区逐渐将开发重心转移到新版本上。Kyuubi 项目跟进这一趋势，可以集中精力支持更现代的 Spark 版本，减少维护成本。

技术实现细节

移除 Spark 3.1 支持涉及多个层面的代码调整：

1. 引擎模块重构：对 kyuubi-spark-sql-engine 模块进行了代码清理，移除了专门为 Spark 3.1 编写的适配层和兼容性代码。

2. 持续集成优化：更新了 GitHub Actions 工作流配置，移除了 Spark 3.1 相关的测试矩阵，简化了 CI/CD 流程。

3. 文档同步更新：修改了快速入门指南、迁移文档等技术文档，确保与当前支持的技术栈保持一致。

技术影响评估

这一变更对用户的影响主要体现在：

• 仍在使用 Spark 3.1 的用户需要升级到 Spark 3.2 或更高版本才能继续使用 Kyuubi
• 项目代码库更加精简，维护成本降低
• 开发者可以更专注于新特性的开发，而无需考虑旧版本的兼容性问题

最佳实践建议

对于 Kyuubi 用户，建议采取以下措施：

1. 评估当前环境中 Spark 版本，计划升级路线
2. 参考项目文档中的迁移指南，了解版本变更带来的影响
3. 在测试环境中验证新版本组合的兼容性
4. 关注 Kyuubi 项目对 Spark 新版本的支持计划

这一技术决策体现了 Apache Kyuubi 项目对技术债的主动管理，通过合理的版本策略平衡了稳定性和创新性，为用户提供了更加可靠和高效的数据分析平台。