Apache DataFusion 中 ListingTable 统计信息合并问题的技术分析

问题背景

在 Apache DataFusion 项目中，ListingTable 在处理不同文件模式的统计信息合并时存在一个潜在问题。当数据源包含多个文件且这些文件具有不同的列顺序时，当前的统计信息合并逻辑会基于列的位置而非列名进行合并，这可能导致统计信息计算错误。

问题详细描述

ListingTable 是 DataFusion 中用于处理文件系统上多个数据文件的表结构。当这些文件具有相同的逻辑模式但不同的物理列顺序时，例如：

• 文件1：(a int32, b int32)
• 文件2：(b int32, a int32)

当前的统计信息合并实现会简单地按照列的位置顺序合并统计信息，导致文件1的列a统计信息与文件2的列b统计信息被错误地合并在一起。这种错误合并会影响查询优化器的决策，可能导致次优甚至错误的执行计划。

技术影响

这个问题在当前的 DataFusion 版本中影响相对有限，因为统计信息主要用于某些特定的优化场景。但随着项目发展，特别是当统计信息开始用于查询正确性保证时（如某些分区剪枝优化），这个问题将变得更加严重。

解决方案方向

正确的实现应该：

1. 建立文件模式到表模式的映射关系
2. 根据列名而非位置进行统计信息合并
3. 对于表模式中存在但文件模式中不存在的列，使用未知统计信息填充

一个可行的技术方案是重用现有的 SchemaMapper 机制，确保统计信息合并与运行时行为保持一致。SchemaMapper 已经提供了模式映射的基础设施，可以正确处理列名匹配和缺失列的情况。

实现建议

1. 在合并统计信息前，先为每个文件创建对应的模式映射器
2. 使用映射器将文件统计信息转换为表统计信息格式
3. 对转换后的统计信息进行合并操作
4. 添加充分的测试用例，覆盖不同列顺序和缺失列的情况

总结

正确处理不同文件模式下的统计信息合并是确保查询优化器做出正确决策的重要基础。随着 DataFusion 对统计信息使用的深入，修复这个问题将有助于提高查询性能和正确性。开发者应当注意，统计信息的处理需要与实际的运行时行为保持一致，避免因模式差异导致的优化错误。