Apache DataFusion中PushDownFilter优化器对叶子扩展节点的处理缺陷分析

背景介绍

在Apache DataFusion查询优化过程中，PushDownFilter是一个重要的优化规则，它的主要作用是将过滤条件尽可能地下推到查询计划树的更底层，从而减少后续处理的数据量。这种优化技术在大数据查询处理中非常关键，能够显著提升查询性能。

问题现象

在特定场景下，当查询计划中出现以下结构时，PushDownFilter优化器会表现出异常行为：

Filter: <条件表达式>
   SomeExtensionNode(叶子节点)

其中SomeExtensionNode是一个用户自定义的扩展节点，且该节点没有子节点(即叶子节点)。当这个过滤条件是常量表达式(如false)时，优化器会错误地将整个Filter节点从计划中移除，仅保留扩展节点。

技术分析

根本原因

PushDownFilter优化器的当前实现在处理扩展节点时存在两个关键问题：

1. 无条件推送：优化器会尝试将过滤条件推送到扩展节点的所有子节点中，但对于叶子扩展节点(没有子节点)，这会导致过滤条件无处可推，最终被错误地丢弃。

2. 常量表达式处理：当过滤条件是常量表达式(如false)时，由于没有列引用，优化器无法通过prevent_precidate_push_down_columns()检查，从而错误地移除了过滤条件。

影响范围

这个问题特别值得关注是因为：

1. 它会导致查询语义被改变，原本应该过滤掉所有数据的查询可能会返回不正确的结果。

2. 结合子查询处理的其他问题(如#15046)，可能导致整个子查询被错误地从执行计划中移除。

解决方案建议

修复此问题需要修改PushDownFilter优化器的处理逻辑：

1. 子节点存在性检查：在尝试将过滤条件推送到扩展节点的子节点前，应先检查该节点是否有子节点。对于叶子扩展节点，应该保留原过滤条件。

2. 常量表达式特殊处理：对于常量过滤条件，无论节点类型如何，都应该保留在计划中，因为它们可能直接影响查询结果。

实例验证

通过一个简单的测试用例可以复现此问题：

1. 创建一个自定义的叶子扩展节点TestUserNode
2. 构建包含该节点和常量过滤条件的查询计划
3. 应用PushDownFilter优化器后，可以观察到过滤条件被错误移除

总结

PushDownFilter优化器在处理叶子扩展节点时的行为需要修正，特别是在处理常量过滤条件时。正确的做法应该是：

• 对于有子节点的扩展节点，继续尝试推送过滤条件
• 对于叶子扩展节点，保留原过滤条件
• 特殊处理常量表达式，确保查询语义不变

这种修改将保证查询优化不会改变原始查询的语义，同时保持优化器的有效性。对于DataFusion用户来说，了解这一限制在当前版本中的存在非常重要，特别是在使用自定义扩展节点时。