Apache DataFusion 中的分布统计合并功能设计与实现

背景与需求分析

Apache DataFusion 作为一个高性能的查询引擎，在处理大规模数据时需要精确的统计信息来优化查询执行计划。在最新开发中，项目计划用更通用的 Distribution 类型替代原有的 Precision 类型来表示数据分布统计信息。

在实际应用中，特别是在分区数据处理场景下，经常需要将多个文件的统计信息合并为一个分区级别的统计信息。例如，当文件被分组为文件组(filegroup)时，每个文件组被视为一个分区，不同分区可以并行处理。此时，分区级别的统计信息就需要通过合并该文件组内所有文件的统计信息来获得。

技术方案设计

核心方案是设计一个分布合并函数，能够将两个分布统计信息合并为一个新的分布。考虑到不同分布类型可能具有不同的统计特性，最合理的做法是创建一个能够近似表示两个输入分布混合特性的通用分布。

函数签名设计如下：

pub fn merge_distributions(a: &Distribution, b: &Distribution) -> Result<Distribution> {
    // 实现代码
}

实现考量

1. 精确性要求：在渐进式评估(ProgressiveEval)场景下，为了确保正确性，必须明确知道数值范围是否重叠。这意味着合并后的分布不能仅仅是近似值，而需要尽可能保持精确性。

2. 保守合并策略：当输入分布本身不够精确时，合并操作应采取保守策略，确保合并结果不会过度乐观估计实际数据分布。

3. 类型处理：需要考虑不同分布类型的特性和它们之间的兼容性，确保合并操作在数学和统计上是合理的。

实际应用场景

该功能主要应用于：

• 分区统计计算：合并分区内多个文件的统计信息
• 查询优化：为查询计划器提供更准确的统计信息
• 资源预估：帮助系统更好地预估任务执行所需的资源

技术实现建议

在实际实现中，可以考虑以下策略：

1. 对于已知精确分布(如均匀分布、正态分布)，可以基于其数学特性进行精确合并
2. 对于未知或复杂分布，可以采用核密度估计等非参数方法进行近似
3. 对于范围统计，应采用包含所有输入范围的保守合并方式
4. 考虑实现分布类型的降级机制，当无法精确合并时自动转为更通用的分布类型

该功能的实现将显著提升DataFusion在处理分区数据时的统计信息质量，为查询优化提供更可靠的基础。