Apache DataFusion 中 ListingTable 统计信息合并的缺陷分析

问题背景

在 Apache DataFusion 项目中，ListingTable 在处理不同模式(schema)的数据文件时，其统计信息合并机制存在一个潜在缺陷。这个缺陷会影响查询优化器的决策准确性，特别是在处理具有不同列顺序或列组成的文件时。

问题本质

当前实现中，ListingTable 在合并多个文件的统计信息时，仅根据列的位置(ordinal position)进行合并，而没有考虑列的实际语义。这种简单的按位置合并会导致以下问题：

1. 当两个文件的列顺序不同时，统计信息会被错误地合并
2. 当文件模式与表模式不一致时，统计信息会失去准确性
3. 随着项目对统计信息依赖的增加，这种错误可能导致更严重的后果

具体案例

假设我们有两个数据文件：

• 文件1：模式为 (a int32, b int32)
• 文件2：模式为 (b int32, a int32)

当前实现会将文件1的列a统计信息与文件2的列b统计信息合并，因为它们处于相同的位置(第一个位置)。这显然是不正确的，因为实际上应该将相同逻辑列的统计信息合并在一起。

技术影响

这种统计信息合并错误会影响：

1. 查询优化器的决策质量
2. 分区裁剪的准确性
3. 数据过滤的效率
4. 资源预估的精确度

随着项目发展，统计信息正被用于更多关键路径，如确保查询结果的正确性，这使得修复这一问题变得更加紧迫。

解决方案方向

解决这一问题需要考虑以下几个方面：

1. 模式映射：需要建立文件模式与表模式之间的正确映射关系
2. 缺失处理：对于表模式中存在但文件模式中不存在的列，应使用未知统计信息填充
3. 一致性保证：确保统计信息合并方式与实际数据读取方式一致

一个可行的方案是重用现有的 SchemaMapper 机制，这样可以保证统计信息处理与实际运行时行为保持一致。

实施建议

1. 添加模式映射功能，正确关联文件列与表列
2. 完善统计信息合并前的预处理步骤
3. 增加全面的测试用例，覆盖各种模式不匹配场景
4. 考虑性能影响，确保解决方案不会引入显著开销

总结

DataFusion 中 ListingTable 的统计信息合并问题是一个典型的模式处理缺陷。随着项目对统计信息依赖的增加，修复这一问题变得尤为重要。通过引入正确的模式映射机制，可以确保统计信息的准确合并，为后续的查询优化提供可靠基础。