Kyuubi项目与Apache Spark 4.0.0的兼容性适配实践
在开源大数据生态系统中,Kyuubi作为一个高性能的JDBC网关服务,与Apache Spark的集成是其核心功能之一。随着Apache Spark 4.0.0预览版的即将发布,Kyuubi项目团队面临了与Spark主分支的兼容性挑战。本文将深入探讨这一技术适配过程的关键问题和解决方案。
兼容性问题背景
Kyuubi项目通过每日构建测试来确保与Spark主分支的兼容性。近期测试失败主要源于两个关键的技术变更:
-
Jakarta EE与Java EE的命名空间迁移:Spark 4.0.0开始采用Jakarta命名空间替代原有的javax命名空间,这影响了Servlet API等相关组件。
-
ANTLR版本升级:Spark 4.0.0将ANTLR运行时版本从4.9.3升级到了4.13.1,导致了语法解析器的兼容性问题。
主要技术挑战
1. Servlet API命名空间冲突
在Kyuubi的Spark SQL引擎模块中,存在大量使用javax.servlet.http.HttpServletRequest等类的代码。当与采用jakarta命名空间的新版Spark一起编译时,出现了类型不匹配的编译错误。这种命名空间的变更影响范围广泛,涉及:
- WebUI页面渲染
- HTTP请求处理
- 会话管理
2. ANTLR版本不兼容
Spark SQL的语法解析器依赖于ANTLR工具,版本升级导致了以下问题:
- 代码生成器版本(4.13.1)与运行时版本(4.9.3)不匹配
- ATN(增强转移网络)的序列化格式变更,无法向后兼容
3. 多版本兼容性要求
Kyuubi需要同时支持多个Spark版本,这使得简单的命名空间替换方案不可行,因为:
- 旧版本Spark仍依赖javax命名空间
- 新版本Spark强制要求jakarta命名空间
- 相关类的API签名可能发生变化
解决方案与实现
1. 依赖版本对齐
首先确保构建配置中相关依赖版本与Spark主分支一致:
<!-- 添加jakarta.servlet-api依赖 -->
<jakarta.servlet-api.version>5.0.0</jakarta.servlet-api.version>
<!-- 对齐ANTLR版本 -->
<antlr4.version>4.13.1</antlr4.version>
2. 引入Shim层设计
为解决命名空间冲突问题,采用了Shim层设计模式:
- 抽象接口定义:创建与命名空间无关的接口
- 运行时动态绑定:通过反射机制在运行时加载正确的实现类
- 代理模式:将实际调用委托给底层具体实现
这种设计使得核心业务逻辑可以保持稳定,而将兼容性问题隔离在适配层。
3. 模块化适配策略
针对不同模块采取不同的适配策略:
- Spark Lineage扩展模块:直接更新依赖版本即可解决
- Spark SQL引擎模块:需要更复杂的Shim层实现
- WebUI相关组件:重构页面渲染逻辑以适应新的API
实施效果
经过系列适配工作后:
- 每日构建测试全部通过,验证了与Spark主分支的兼容性
- 保持了向后兼容性,不影响现有Spark版本的支持
- 为即将到来的Spark 4.0.0正式版做好了准备
经验总结
- 前瞻性测试:持续集成中对主分支的每日测试能及早发现问题
- 分层设计:良好的架构设计能够隔离底层变化的影响
- 动态适配:运行时决策机制是处理多版本兼容的有效手段
- 社区协作:关注上游项目的变化趋势有助于提前规划适配工作
这次兼容性适配不仅解决了当前的技术问题,也为Kyuubi项目未来的可维护性和扩展性奠定了更好的基础。随着Spark 4.0.0的正式发布,Kyuubi用户将能够无缝体验到最新Spark版本带来的性能改进和功能增强。
HunyuanImage-3.0
HunyuanImage-3.0 统一多模态理解与生成,基于自回归框架,实现文本生成图像,性能媲美或超越领先闭源模型00- DDeepSeek-V3.2-ExpDeepSeek-V3.2-Exp是DeepSeek推出的实验性模型,基于V3.1-Terminus架构,创新引入DeepSeek Sparse Attention稀疏注意力机制,在保持模型输出质量的同时,大幅提升长文本场景下的训练与推理效率。该模型在MMLU-Pro、GPQA-Diamond等多领域公开基准测试中表现与V3.1-Terminus相当,支持HuggingFace、SGLang、vLLM等多种本地运行方式,开源内核设计便于研究,采用MIT许可证。【此简介由AI生成】Python00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0370Hunyuan3D-Part
腾讯混元3D-Part00ops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。C++0102AI内容魔方
AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。02Spark-Chemistry-X1-13B
科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile09
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
项目优选









