首页
/ Apache DataFusion 移除已弃用的文件格式执行器

Apache DataFusion 移除已弃用的文件格式执行器

2025-05-31 10:15:00作者:乔或婵

在 Apache DataFusion 47 版本发布后,项目团队决定提前移除四个已被标记为弃用的文件格式执行器结构体:ParquetExec、AvroExec、CsvExec 和 JsonExec。这些执行器原本计划在 DataFusion 53 版本才完全移除,但团队出于维护考虑做出了提前移除的决定。

这些执行器在 DataFusion 46 版本中被标记为弃用,取而代之的是更通用的 DataSourceExec 结构体。DataSourceExec 提供了统一的接口来处理各种数据源,简化了代码架构并提高了可维护性。随着新版本的发布,大多数测试和示例代码都已迁移到使用新的 DataSourceExec,导致旧执行器的测试覆盖率下降。

团队发现保留这些已弃用的执行器存在"代码腐化"的风险。由于新代码和测试都转向使用 DataSourceExec,这些旧执行器可能会在不被发现的情况下出现功能退化。一个典型的例子是在某些代码重构中,旧执行器的相关逻辑可能被无意中破坏,但由于缺乏测试覆盖而无法及时发现。

移除工作通过多个独立的拉取请求逐步完成,每个请求专注于移除一个特定的执行器结构体。这种分阶段的方法确保了移除过程的可控性和可追溯性。最终,所有四个执行器都从代码库中安全移除,用户被引导使用更现代的 DataSourceExec 替代方案。

这一变更体现了 DataFusion 项目对代码质量的重视,以及在保证向后兼容性的同时,积极优化架构设计的决心。通过提前移除这些已弃用的组件,项目减少了维护负担,同时为用户提供了更清晰、更一致的 API 使用体验。

登录后查看全文
热门项目推荐
相关项目推荐