Apache DataFusion 中 ListingTable 统计信息合并问题的技术分析

问题背景

在 Apache DataFusion 项目中，ListingTable 在处理具有不同模式(schema)的文件时，其统计信息合并机制存在一个潜在问题。该问题会影响查询优化器的决策准确性，特别是在统计信息被用于关键优化路径时。

问题本质

当前实现中，ListingTable 在合并来自不同文件的列统计信息时，仅基于列在文件中的顺序位置(ordinal position)进行合并，而没有考虑列的实际逻辑对应关系。这种简单的按位置合并方式会导致错误的统计信息组合。

具体场景示例

假设我们有两个数据文件：

• 文件1：包含列(a int32, b int32)
• 文件2：包含列(b int32, a int32)

当前的统计信息合并逻辑会将：

• 文件1的列a统计信息与文件2的列b统计信息合并
• 文件1的列b统计信息与文件2的列a统计信息合并

这显然是不正确的，因为统计信息应该基于列的逻辑名称而非物理位置进行合并。

影响范围

虽然当前这个问题尚未造成严重后果(因为统计信息仅在有限优化中使用)，但随着项目发展，特别是当统计信息被用于确保查询正确性时(如某些特定优化场景)，这个问题将变得更加关键。

解决方案方向

正确的实现应该：

1. 建立从文件模式到表模式的列映射关系
2. 对于表模式中存在但文件模式中不存在的列，使用未知统计信息(ColumnStatistics::new_unknown)填充
3. 确保统计信息合并与运行时行为保持一致

一个潜在的优化是重用现有的SchemaMapper机制，这样可以保证统计信息处理与运行时列映射的一致性。

实施建议

修复此问题需要：

1. 添加能够正确处理模式映射的统计信息合并函数
2. 编写充分的测试用例，覆盖不同模式组合的场景
3. 确保修改后的实现与现有优化器行为兼容

这个问题虽然看似简单，但关系到查询优化器的核心功能，需要谨慎处理以确保不会引入新的问题。