Apache DataFusion 分区表过滤条件错误问题分析

问题概述

在Apache DataFusion项目中，当启用datafusion.execution.parquet.pushdown_filters参数时，涉及分区列和文件数据列的混合过滤条件会出现错误结果。具体表现为：当SQL查询条件同时包含分区列和文件数据列的比较时（如分区列 != 文件数据列），过滤条件会被错误地忽略，导致返回不符合条件的数据行。

问题重现

通过以下测试用例可以重现该问题：

1. 创建分区表，包含三个分区（part=a、part=b、part=c）
2. 在每个分区中写入不同的测试数据
3. 执行包含分区列和文件数据列比较的查询（如part != val）
4. 错误结果：返回了所有行，包括part=val的行

技术背景

DataFusion是一个用Rust编写的查询引擎，支持SQL查询执行和优化。在处理分区表时：

• 分区列：直接从目录结构中提取（如part=a中的a）
• 文件数据列：从Parquet文件内部读取
• 谓词下推：将过滤条件尽可能下推到数据扫描层，减少需要处理的数据量

问题根源

该问题的根本原因在于谓词下推优化器的处理逻辑存在缺陷：

1. 当启用pushdown_filters时，系统会尝试将过滤条件下推到Parquet扫描层
2. 当前实现中，对于同时涉及分区列和文件数据列的混合条件，没有正确处理其精确性标记
3. 导致这类条件被错误地标记为"精确"（Exact），但实际上它们需要被标记为"不精确"（Inexact）

影响分析

虽然这是一个严重的问题，但实际影响有限，因为：

1. 这种混合列比较的查询场景相对少见
2. 许多生产环境（如InfluxData和Comet）不使用DataFusion的ListingTable实现
3. 默认情况下pushdown_filters参数是关闭的

解决方案

修复方案相对简单：需要将所有涉及分区列和文件数据列的混合过滤条件明确标记为"Inexact"，这样系统就不会错误地应用谓词下推优化。

经验教训

1. 谓词下推优化需要谨慎处理混合来源的列条件
2. 分区表和文件数据列的交互需要特殊考虑
3. 新功能引入后需要增加针对边界条件的测试用例

总结

这个问题展示了查询优化器中一个有趣的边界情况，提醒开发者在实现谓词下推等优化时需要全面考虑各种可能的查询模式。虽然实际影响有限，但修复后能提高系统的健壮性和查询结果的准确性。