Apache DataFusion 区间运算中 OR 操作符支持缺失问题分析

Apache DataFusion 是一个用 Rust 编写的现代分布式查询引擎，它提供了高效的 SQL 查询执行能力。在其表达式求值系统中，区间运算(Interval Arithmetic)是一个重要功能，用于在查询优化阶段估算表达式可能的值范围。

问题背景

在 DataFusion 的表达式处理中，apply_operator 函数负责对二元操作符进行区间运算。该函数能够处理多种操作符类型，如比较运算符、算术运算符等，但在处理布尔逻辑运算符时存在一个明显的功能缺失——不支持 OR 运算符。

这个问题最初在 issue #7883 中被提出，随后在 PR #8276 中得到了部分解决。该 PR 为 propagate_constraints 函数添加了对 OR 运算符的支持，但遗漏了对 apply_operator 函数的相应修改，而后者正是 evaluate_bounds 方法的核心实现。

技术细节分析

在 DataFusion 的区间运算实现中，apply_operator 函数位于 datafusion/expr/src/interval_arithmetic.rs 文件中。该函数当前支持的操作符包括：

• 比较运算符：Eq、NotEq、Lt、LtEq、Gt、GtEq
• 算术运算符：Plus、Minus、Multiply、Divide、Modulo
• 逻辑运算符：And
• 其他运算符：Like、NotLike、IsDistinctFrom、IsNotDistinctFrom

然而，对于 OR 运算符的处理却明显缺失。这种不一致性会导致当表达式包含 OR 运算符时，区间运算无法正确计算可能的值范围。

影响范围

这一功能缺失主要影响以下场景：

1. 查询优化器无法准确估算包含 OR 条件的谓词的选择率
2. 分区裁剪等优化可能因为不准确的区间估算而失效
3. 常量折叠优化对包含 OR 的布尔表达式处理不完整

解决方案

解决这个问题需要为 apply_operator 函数添加对 OR 运算符的支持。布尔 OR 运算的区间计算规则相对简单：

• 如果任一操作数的区间可能包含 true，则结果区间必须包含 true
• 只有当两个操作数的区间都确定为 false 时，结果区间才确定为 false

具体实现可以参考 AND 运算符的处理方式，但逻辑上需要进行反向处理。

验证方法

为了验证修复的正确性，可以编写如下的测试用例：

#[test]
fn test_or_operator_interval() {
    // true OR false => true
    let interval = apply_operator(
        &Operator::Or,
        &Interval::make(Some(true), Some(true)),
        &Interval::make(Some(false), Some(false))
    ).unwrap();
    assert_eq!(interval, Interval::make(Some(true), Some(true)));

    // false OR false => false
    let interval = apply_operator(
        &Operator::Or,
        &Interval::make(Some(false), Some(false)),
        &Interval::make(Some(false), Some(false))
    ).unwrap();
    assert_eq!(interval, Interval::make(Some(false), Some(false)));

    // unknown OR true => true
    let interval = apply_operator(
        &Operator::Or,
        &Interval::make(None, None), // 表示可能为true或false
        &Interval::make(Some(true), Some(true))
    ).unwrap();
    assert_eq!(interval, Interval::make(Some(true), Some(true)));
}

总结

DataFusion 区间运算中 OR 操作符支持的缺失是一个典型的边界条件处理不完整问题。这类问题在复杂系统中很常见，特别是在逐步添加功能的过程中容易产生。通过系统地分析运算符支持矩阵，并补充相应的测试用例，可以有效避免类似问题的发生。

这个问题的修复将提升 DataFusion 对复杂布尔表达式的处理能力，使查询优化器能够做出更准确的决策，从而提高整体查询性能。对于使用 DataFusion 的开发者来说，了解这一修复有助于他们更好地理解系统行为，并编写出更高效的查询。