Apache Arrow DataFusion 数据源架构解析

Apache Arrow DataFusion 作为高性能查询引擎，其数据源处理架构设计精巧。本文将深入剖析 DataFusion 中 FileSource、DataSource 和 DataSourceExec 三大核心组件的关系及其在查询执行流程中的作用。

核心架构层级

DataFusion 的数据处理采用分层架构设计，自顶向下可分为执行层、抽象层和实现层：

1. 执行层（DataSourceExec）
   作为物理计划执行节点，直接参与查询任务的调度与执行。负责从底层数据源获取数据并转换为Arrow格式的RecordBatch流。

2. 抽象层（DataSource）
   定义统一的数据源访问接口，隔离具体实现。支持多种数据源类型注册，包括文件系统和内存数据源。

3. 实现层（FileSource/MemorySource）
   提供具体数据格式的实现，如Parquet、CSV等文件格式处理，以及内存数据的快速访问。

详细组件关系

数据源配置

• FileScanConfig：文件扫描配置，包含文件路径、格式等元信息
• MemorySourceConfig：内存数据配置，管理内存中的数据集

文件处理流水线

1. FileSource 作为文件数据源的统一入口
2. 具体格式处理器（ParquetSource/ArrowSource）实现格式解析
3. ParquetOpener 等底层组件完成文件打开和列式数据读取
4. 最终输出标准化的RecordBatch数据流

设计优势

1. 接口统一化
   通过DataSource抽象层，上层执行计划无需关心底层数据源差异。

2. 扩展性强
   新增数据源只需实现DataSource trait，不影响现有架构。

3. 执行高效
   物理执行与数据读取分离，DataSourceExec可专注于执行优化。

4. 格式无关性
   文件格式处理通过插件化设计，支持灵活扩展。

典型工作流程

当执行包含数据扫描的查询时：

1. 优化器生成包含DataSourceExec的物理计划
2. 执行引擎调用DataSourceExec的execute方法
3. DataSourceExec通过配置定位具体DataSource
4. FileSource协调具体格式处理器读取数据
5. 数据转换为RecordBatch流向上传递

这种分层设计使得DataFusion既能保持核心执行引擎的稳定性，又能灵活支持各种数据源和文件格式，为高性能查询处理奠定了坚实基础。