Apache Arrow DataFusion 数据源架构解析

核心组件关系图

在Apache Arrow DataFusion项目中，数据读取模块采用分层架构设计，主要包含以下核心组件：

                   ┌─────────────────────┐                 
                   │                     │                 
                   │   DataSourceExec    │                 
                   │                     │                 
                   └─────────────────────┘                 
                              │                            
                              │                            
                   ┌──────────▼──────────┐                 
                   │                     │                 
                   │     DataSource      │                 
                   │                     │                 
                   └─────────────────────┘                 
                              │                            
           ┌──────────────────┴────────────────┐           
┌──────────▼──────────┐             ┌──────────▼──────────┐
│                     │             │                     │
│   FileScanConfig    │             │ MemorySourceConfig  │
│                     │             │                     │
└─────────────────────┘             └─────────────────────┘
           │                                               
           │                                               
           │                                               
┌──────────▼──────────┐                                    
│                     │                                    
│     FileSource      │                                    
│                     │                                    
└─────────────────────┘                                    
           │                                               
           │                                               
           │                                               
┌──────────▼──────────┐                                    
│     ArrowSource     │                                    
│         ...         │                                    
│    ParquetSource    │                                    
└─────────────────────┘                                    
           │                                               
           │                                               
           │                                               
┌──────────▼──────────┐                                    
│                     │                                    
│    ParquetOpener    │                                    
│                     │                                    
└─────────────────────┘                                    
           │                                               
           │                                               
           │                                               
┌──────────▼──────────┐                                    
│                     │                                    
│ RecordBatch Stream  │                                    
│                     │                                    
└─────────────────────┘                                    

架构分层解析

1. 执行层 (DataSourceExec)

作为查询计划执行树的物理节点，负责调度数据读取任务。这是查询引擎与数据源交互的最高层抽象，处理分区读取、并行执行等逻辑。

2. 数据源抽象层 (DataSource)

定义统一的数据源接口，包含：

• 获取数据模式(schema)的能力
• 数据分片(partition)信息
• 创建具体扫描器(Scanner)的方法

3. 配置层 (ScanConfig)

具体数据源的配置实现：

• FileScanConfig：文件扫描配置，包含文件路径、格式等
• MemorySourceConfig：内存数据配置，处理内存中的RecordBatch

4. 文件源实现层 (FileSource)

针对文件系统的通用抽象，处理：

• 文件列表发现
• 分区过滤
• 文件格式路由

5. 格式特定实现层

各文件格式的具体实现：

• ParquetSource：Apache Parquet列式存储
• ArrowSource：Arrow内存格式
• 其他格式通过实现相同接口扩展

6. 底层读取器 (Opener)

实际执行文件解码的组件，如：

• ParquetOpener：使用parquet-rs库读取文件
• 返回RecordBatch流式迭代器

设计优势

1. 清晰的职责分离：每层只关注单一职责，上层不依赖具体实现细节

2. 灵活的可扩展性：新增文件格式只需实现对应Source和Opener

3. 统一的执行接口：无论底层数据源如何变化，执行引擎都通过DataSourceExec统一调度

4. 配置与执行解耦：ScanConfig允许复用相同配置创建多个执行实例

典型数据流

1. 查询计划生成DataSourceExec节点
2. 根据配置创建对应DataSource实例
3. DataSource初始化具体文件扫描器
4. 通过格式特定Source获取Opener
5. Opener返回RecordBatch流
6. DataSourceExec收集所有分区的数据流

这种分层设计使得DataFusion能够以统一的方式处理各种数据源，同时保持各格式特定的优化空间。开发者可以方便地扩展支持新的数据格式，而查询优化器和执行引擎无需关心底层细节。