Apache DataFusion中COUNT DISTINCT对NaN值的处理不一致问题分析

问题背景

在Apache DataFusion项目中，发现了一个关于COUNT DISTINCT聚合函数在处理NaN(Not a Number)值时出现不一致行为的问题。这个问题的核心在于，DataFusion对于包含NaN值的列进行COUNT DISTINCT操作时，在简单查询和分组聚合查询中会返回不同的结果。

问题现象

当对一个包含NaN值的CSV文件执行查询时，出现了以下两种不同结果：

1. 简单COUNT DISTINCT查询返回1（正确结果）
2. 分组聚合COUNT DISTINCT查询返回3（错误结果）

具体表现为：

• 对于查询select count(distinct b) from 'nan.csv'，正确返回1
• 对于查询select a, count(distinct b) from 'nan.csv' group by 1，错误地返回3

技术分析

经过深入代码分析，发现问题根源在于DataFusion物理执行计划中处理分组聚合时的实现细节。具体来说，在primitive.rs文件中的多分组实现代码没有正确处理NaN值的特殊情况。

在计算机科学中，NaN值具有特殊的比较语义：

• NaN不等于任何值，包括它自己
• 在哈希计算时，NaN应该被视为相同的值

DataFusion在简单COUNT DISTINCT查询中正确实现了这一语义，但在分组聚合场景下，由于底层实现没有特殊处理NaN值，导致每个NaN都被视为不同的值，从而产生了不一致的结果。

解决方案方向

要解决这个问题，需要确保在所有场景下对NaN值的处理保持一致。具体可以考虑以下方法：

1. 在分组聚合的实现中增加对NaN值的特殊处理逻辑
2. 确保NaN值的哈希计算在所有场景下保持一致
3. 参考Spark等系统的实现，将NaN视为相同的值进行计数

影响范围

这个问题会影响所有使用DataFusion处理包含NaN值数据的COUNT DISTINCT聚合查询，特别是在分组聚合场景下。对于需要精确统计唯一值数量的应用场景，这个问题可能导致错误的分析结果。

最佳实践建议

在问题修复前，建议用户：

1. 避免在包含NaN值的列上直接使用COUNT DISTINCT
2. 可以先使用COALESCE或CASE WHEN等函数将NaN替换为特定值
3. 对于关键业务场景，进行结果验证

总结

DataFusion中COUNT DISTINCT对NaN值的处理不一致问题揭示了在实现聚合函数时需要特别注意特殊值的处理。这个问题不仅关乎NaN值，也提醒我们在实现数据库操作时需要全面考虑各种边界情况和特殊值。通过修复这个问题，可以提升DataFusion在数据分析和处理领域的可靠性和一致性。