Apache Arrow DataFusion 优化器默认分区模式改进解析

Apache Arrow DataFusion 作为高性能查询引擎，其执行计划优化一直是核心关注点。近期社区针对连接操作的分区模式默认设置进行了重要改进，将默认值从PartitionMode::Partitioned调整为PartitionMode::Auto，这一变更显著提升了查询优化器的智能化水平。

分区模式背景知识

在分布式查询处理中，连接操作的分区策略对性能有着决定性影响。DataFusion 提供了三种主要分区模式：

1. Partitioned模式：强制对连接两侧数据进行重分区，确保相同键值的数据位于同一分区
2. CollectLeft模式：将左侧数据收集到单个节点，与右侧分区数据进行广播式连接
3. Auto模式：由优化器基于统计信息自动选择最优策略

原有实现的问题

在改进前，当统计信息不可用时，系统默认采用Partitioned模式。这种保守策略虽然保证了正确性，但存在明显不足：

• 无法利用文件自带的统计信息（如Parquet的元数据）
• 对已知小数据集（如LIMIT查询结果）仍进行不必要的重分区
• 缺乏对数据分布特征的智能判断

优化方案详解

新方案将默认模式改为Auto，使优化器能够：

1. 基于文件统计选择策略：当检测到左侧数据集足够小时，自动采用CollectLeft模式
2. 识别计划特征：对于包含LIMIT等操作的子计划，能推断数据集大小
3. 动态决策机制：在缺乏统计信息时仍可回退到Partitioned模式

技术实现要点

这一改进涉及查询优化器的多个层面：

1. 统计信息推断：不仅依赖显式收集的统计，还从文件元数据和计划结构中提取信息
2. 代价模型增强：完善了不同分区模式下的代价估算公式
3. 回退机制：确保在信息不足时仍能选择安全策略

实际效果评估

在实际场景中，这一改进带来显著优势：

• 对小数据集连接操作，避免了不必要的网络传输
• 对已知均匀分布的数据，减少了优化器决策开销
• 保持了分布式环境下的容错能力

最佳实践建议

开发者在使用时应注意：

1. 确保文件统计信息的完整性（如Parquet文件的元数据）
2. 对明确知道大小的数据集，可通过hint提供信息
3. 监控执行计划，验证优化器决策是否符合预期

这一改进体现了DataFusion向更智能的优化器发展的趋势，通过减少人工干预，让系统自动做出更优决策，既提升了性能，也降低了使用门槛。