Apache DataFusion 2025年6月季度技术发展报告

Apache DataFusion作为Apache基金会旗下的可扩展查询引擎项目，在过去一个季度中展现了强劲的发展势头。本文将全面梳理该项目在2025年第二季度的技术进展与社区发展情况。

项目概况

DataFusion项目自2024年4月成立以来，已经发展成为一个拥有47位提交者和17位PMC成员的活跃社区。本季度社区新增了多位核心贡献者，包括Berkay Şahin和Xudong Wang加入PMC，以及Adrian Garcia Badaracco等多位开发者成为新提交者。

核心技术进展

主项目DataFusion

核心引擎保持了每月发布一个版本的节奏，最新版本48.0.0于2025年6月11日发布。项目社区制定了公开的技术路线图，指导着引擎功能的持续演进。值得注意的是，团队在旧金山成功举办了线下技术交流会，促进了开发者之间的直接沟通。

技术博客方面，团队分享了关于用户自定义窗口函数和TPC-H基准测试数据生成器的深度技术文章，这些内容为社区用户提供了宝贵的学习资源。

Python绑定项目

DataFusion Python绑定项目在本季度实现了重要功能突破：

• 新增了对用户自定义标量函数和聚合函数的支持
• 实现了用户自定义窗口函数功能
• 发布了PYTHON-47.0.0和PYTHON-46.0.0两个版本

这些改进显著增强了Python开发者使用DataFusion的能力，使得在Python生态中构建复杂数据处理流程更加便捷。

Comet子项目

作为DataFusion的重要衍生项目，Comet专注于性能优化：

• 发布了0.8.0和0.7.0两个版本
• 0.8.0版本带来了多项性能改进和新特性，技术博客详细介绍了这些变化

Ballista分布式执行引擎

Ballista项目继续保持稳定发展：

• 发布了BALLISTA-46.0.0和BALLISTA-45.0.0
• 专注于提升分布式查询执行能力

其他子项目进展

• DataFusion For Ray项目正在准备首次发布，项目名称已调整以避免与Ray项目混淆
• sqlparser-rs项目保持双月发布节奏，0.56.0版本如期发布，SQL解析能力持续增强

社区生态与未来展望

DataFusion社区展现出良好的健康状态，虽然代码审查资源仍然紧张，但活跃的提交者群体相互支持，确保了项目的持续发展。来自不同公司和背景的贡献者共同推动着项目前进。

展望未来，随着新功能的不断加入和社区规模的扩大，DataFusion有望在查询引擎领域扮演更加重要的角色。项目团队需要继续保持技术博客的产出，增强与更广泛开发者社区的沟通。