Apache Kyuubi 中 ZORDER 插入功能的优化实践
背景介绍
在 Apache Kyuubi 项目中,ZORDER 是一种数据布局优化技术,它通过对数据进行特定的排序和分区,可以显著提高查询性能,特别是在处理大规模数据时。ZORDER 通过将多维数据映射到一维空间并保持局部性,使得范围查询能够更高效地定位相关数据块。
问题发现
在项目开发过程中,我们发现当逻辑执行计划是 RepartitionByExpression
或 Repartition
时,系统无法执行 ZORDER 插入操作。这种情况限制了 ZORDER 功能的使用场景,特别是在需要对数据进行重新分区的情况下。
技术分析
RepartitionByExpression
和 Repartition
是 Spark SQL 中常用的两种数据重分区操作:
Repartition
:按照指定分区数对数据进行均匀分布RepartitionByExpression
:按照指定的表达式对数据进行分区
这两种操作都会改变数据在集群中的物理分布,而 ZORDER 排序也需要对数据进行重新组织。原先的实现中,这两种操作被视为与 ZORDER 排序互斥的场景,但实际上它们可以协同工作。
解决方案
经过深入分析,我们决定修改逻辑,允许在 ZORDER_GLOBAL_SORT_ENABLED
配置为 false 时,即使执行计划包含 RepartitionByExpression
或 Repartition
也能执行 ZORDER 插入操作。这一改进通过以下方式实现:
- 放宽执行计划检查条件,不再将重分区操作视为 ZORDER 的障碍
- 确保在全局排序禁用时,重分区和 ZORDER 可以协同工作
- 保持原有功能在全局排序启用时的行为不变
实现细节
在代码实现上,主要修改了执行计划的验证逻辑。原先的验证会拒绝所有包含重分区操作的 ZORDER 插入请求,现在则根据 ZORDER_GLOBAL_SORT_ENABLED
配置灵活处理:
- 当全局排序启用时,保持原有严格检查
- 当全局排序禁用时,允许重分区操作与 ZORDER 结合使用
这种改进既保持了原有功能的稳定性,又扩展了 ZORDER 的使用场景。
实际价值
这一改进为 Kyuubi 用户带来了以下好处:
- 更灵活的数据组织方式:用户可以在重分区的同时应用 ZORDER 排序
- 性能优化:结合重分区和 ZORDER 可以减少后续查询的数据扫描量
- 使用场景扩展:支持更多复杂的数据处理流程
总结
通过对 Kyuubi 中 ZORDER 插入功能的优化,我们解决了重分区操作与 ZORDER 排序互斥的问题,为用户提供了更灵活高效的数据处理能力。这一改进展示了开源社区如何通过持续优化来提升项目价值,也体现了 Kyuubi 项目对用户需求的快速响应能力。
未来,我们还将继续探索更多数据布局优化技术,为大数据处理提供更高效的解决方案。
HunyuanImage-3.0
HunyuanImage-3.0 统一多模态理解与生成,基于自回归框架,实现文本生成图像,性能媲美或超越领先闭源模型00ops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。C++046Hunyuan3D-Part
腾讯混元3D-Part00GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0290Hunyuan3D-Omni
腾讯混元3D-Omni:3D版ControlNet突破多模态控制,实现高精度3D资产生成00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile09
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
热门内容推荐
最新内容推荐
项目优选








