DataFusion中不同精度小数比较操作符的问题分析

问题现象

在DataFusion数据处理引擎中，当处理不同精度和标度的小数(DECIMAL)类型比较操作时，出现了不一致的行为。具体表现为：

1. 当使用字面量(Literal)直接比较时，能够正确处理不同精度小数的比较
2. 当通过列值参与比较时，会出现类型不匹配的错误

问题复现

通过DataFusion CLI可以复现这个问题：

-- 字面量比较成功
SELECT 1 * 1.000::DECIMAL(4,3) > 1.2::decimal(2,1);

-- 列值比较失败
SELECT a * 1.000::DECIMAL(4,3) > 1.2::decimal(2,1) FROM VALUES (1) AS t(a);

第一个查询能正常返回false结果，而第二个查询会抛出错误："Invalid comparison operation: Decimal128(20, 0) > Decimal128(25, 3)"。

技术背景

在数据库系统中，DECIMAL类型通常由三个参数定义：精度(precision)、标度(scale)和基数(base)。其中：

• 精度表示数字的总位数
• 标度表示小数点后的位数
• 基数通常是10或2的幂次方

当对不同精度/标度的DECIMAL值进行操作时，需要进行类型转换和统一，这个过程称为"类型强制"(type coercion)。

问题根源分析

通过分析DataFusion的源代码，发现问题出在SQL表达式到逻辑表达式的转换过程中：

1. 对于字面量表达式，系统会先执行乘法运算，然后再进行类型强制转换
2. 对于列值表达式，系统会先构建执行计划，在计划构建阶段就尝试进行类型强制转换

具体转换流程如下：

1. sql_expr_to_logical_expr函数处理表达式
2. 调用binary_op处理二元操作
3. 进而调用binary函数
4. 调用binary_numeric_coercion进行数值类型强制
5. 调用decimal_coercion处理小数类型
6. 调用get_wider_decimal获取更宽的小数类型
7. 将小数统一到相同标度进行比较

在列值表达式的情况下，类型强制发生在乘法运算之前，导致乘法运算改变了左操作数的标度，最终导致比较操作时类型不匹配。

解决方案思路

要解决这个问题，可以考虑以下几种方案：

1. 延迟类型强制：将类型强制操作推迟到所有算术运算完成之后
2. 表达式重写：在构建执行计划时，识别并重写这种复合表达式
3. 统一处理流程：确保字面量和列值表达式的处理流程一致

总结

这个问题揭示了DataFusion在处理复合表达式时类型系统的一个边界情况。在实际应用中，开发人员应当注意不同精度小数的混合运算可能带来的类型不匹配问题。对于需要频繁进行小数运算的场景，建议统一使用相同精度和标度的DECIMAL类型，或者在应用层进行显式类型转换。

该问题的修复将提高DataFusion在处理复杂小数运算时的稳定性和一致性，特别是对于涉及列值和表达式混合计算的场景。