Kyuubi项目移除Spark 3.1支持的技术解析

Apache Kyuubi作为一个企业级数据湖管理平台，近期在1.9.0版本中已经将Spark 3.1标记为弃用状态。随着技术演进和社区发展，项目团队决定完全移除对Spark 3.1的支持，这一变更涉及代码库、持续集成流程和文档等多个方面。

技术背景与决策考量

Spark作为Kyuubi的核心依赖之一，其版本支持策略直接影响项目的维护成本和功能演进。移除Spark 3.1支持主要基于以下考虑：

1. 维护成本优化：减少兼容性代码可以显著降低测试和维护负担
2. 功能演进需求：新版本Spark提供了更多先进特性，需要集中精力支持
3. 社区共识：经过充分讨论后，社区达成移除旧版本支持的共识

具体变更内容

引擎模块调整

在kyuubi-spark-sql-engine模块中，移除了所有与Spark 3.1相关的特定代码路径。这包括：

• 版本特定的条件编译代码
• 兼容性适配层
• 针对Spark 3.1的测试用例

持续集成流程更新

GitHub Actions工作流进行了相应调整：

• 移除了Spark 3.1的测试矩阵配置
• 更新了版本检查逻辑
• 简化了构建和测试流程

文档同步更新

项目文档进行了多处修改以反映这一变更：

• 快速入门指南移除了Spark 3.1相关说明
• 迁移指南增加了版本支持变更说明
• 系统要求文档更新了最低版本要求

技术影响评估

这一变更对用户和开发者带来以下影响：

1. 用户影响：使用Spark 3.1的用户需要升级到更高版本才能继续使用Kyuubi
2. 开发者影响：代码库更简洁，减少了版本兼容性维护工作
3. 性能影响：移除旧版本支持可能带来轻微的性能优化空间

最佳实践建议

对于现有用户和开发者，建议采取以下措施：

1. 升级计划：尽早规划Spark版本升级路径
2. 测试验证：在测试环境充分验证新版本兼容性
3. 社区参与：关注项目公告，及时了解版本支持策略变化

这一技术决策体现了Kyuubi项目对技术先进性和维护可持续性的平衡考量，也是开源项目健康发展的典型实践。