Apache Arrow DataFusion 数据源执行器演进与优化

Apache Arrow DataFusion 项目近期对其数据源执行器架构进行了重要重构，将原有的特定格式执行器（如 ParquetExec、CsvExec 等）统一整合为更通用的 DataSourceExec 结构。这一架构演进带来了显著的性能提升和代码简化，同时也引发了关于如何平稳过渡的讨论。

背景与演进动机

DataFusion 最初为每种数据格式设计了独立的执行器结构，包括 ParquetExec、AvroExec、CsvExec 和 JsonExec。这种设计虽然直观，但随着项目发展逐渐暴露出一些问题：

1. 代码重复：各格式执行器之间存在大量重复逻辑
2. 维护成本高：每个格式的优化需要单独实现
3. 扩展性差：新增数据格式需要完整实现新的执行器

为解决这些问题，DataFusion 团队在版本46中引入了通用的 DataSourceExec 结构，通过统一的接口抽象不同数据源的读取逻辑，显著提升了代码复用率和可维护性。

技术决策与权衡

在版本47发布后，团队面临一个重要决策：是遵循常规的API弃用周期（保留旧结构直到版本53），还是提前移除已弃用的执行器。经过深入讨论，团队选择了后者，主要基于以下考虑：

1. 测试覆盖问题：新代码和测试已全面转向 DataSourceExec，旧结构可能在不被发现的情况下出现问题
2. 维护负担：同时维护两套实现增加了不必要的复杂性
3. 用户迁移成本：尽早强制迁移可避免用户长期依赖即将消失的功能

实现细节与影响

移除工作通过多个独立PR完成，每个针对特定格式的执行器：

1. ParquetExec：最初为Parquet格式设计的专用执行器
2. AvroExec：处理Avro格式数据的执行器
3. CsvExec：针对CSV文件格式优化的执行器
4. NDJsonExec：处理JSON行格式的执行器

新的 DataSourceExec 通过统一的接口和配置选项支持所有这些格式，同时提供了更好的性能特性和更丰富的功能集。

用户迁移指南

对于使用旧执行器的用户，迁移到新架构主要涉及：

1. 更新执行计划构建逻辑，使用 DataSourceExec 替代特定格式执行器
2. 调整配置参数，新接口可能使用不同的参数命名或组织方式
3. 验证查询结果和性能特征，确保符合预期

架构演进的意义

这一变更不仅是简单的API替换，更代表了DataFusion架构设计理念的演进：

1. 从特定到通用：通过统一抽象简化核心架构
2. 关注点分离：将格式特定逻辑与执行逻辑解耦
3. 未来可扩展性：为支持更多数据格式奠定基础

这种架构演进使DataFusion能够更灵活地适应不断变化的数据处理需求，同时保持高性能和稳定性。