Velox项目中array_duplicates函数的排序一致性修复

在分布式SQL查询引擎Velox的开发过程中，我们发现了一个关于数组去重函数array_duplicates的有趣问题。这个问题揭示了Presto和Velox在处理重复元素排序时的行为差异，虽然不影响结果的正确性，但会导致测试验证失败。

问题本质

array_duplicates函数的设计目的是返回数组中所有重复出现的元素。在实现过程中，我们发现当输入数组包含多种数据类型时，包括：

• 字符串类型（特别是包含特殊字符的复杂字符串）
• NULL值
• 大整数

Velox和Presto会产生内容相同但顺序不同的输出结果。例如，对于包含NULL值、特殊字符串和重复元素的复杂数组，两个系统返回的重复元素集合相同，但元素的排列顺序不一致。

技术细节分析

这种差异源于两个系统内部实现的不同：

1. 哈希处理机制：Velox和Presto可能使用不同的哈希算法或哈希表实现来处理重复元素的检测
2. 元素遍历顺序：在构建结果集时，两个系统可能采用不同的元素遍历策略
3. NULL值处理：对于NULL值的特殊处理方式可能影响最终结果的排序

特别是在处理大整数时（如8916016313521375438和322841715370224447），这种顺序差异更加明显，因为大整数的哈希分布特性可能加剧了实现差异。

解决方案

我们采用了SortArrayTransformer对输出结果进行标准化排序处理。这种解决方案具有以下优势：

1. 结果一致性：确保Velox和Presto的输出顺序完全一致
2. 向后兼容：不影响现有查询的正确性
3. 性能平衡：在结果集通常不大的情况下，排序开销可以接受

对开发者的启示

这个案例给我们带来几个重要的开发经验：

1. 分布式系统兼容性：在实现兼容其他系统的功能时，不仅要考虑结果的正确性，还需要注意结果的呈现形式
2. 边界条件测试：需要特别测试包含NULL值、特殊字符和大数值的边界情况
3. 结果规范化：对于不依赖顺序的操作，考虑对输出进行标准化处理可以提高系统间的兼容性

这个问题虽然看似简单，但深刻展示了分布式系统开发中兼容性挑战的典型例子，也为处理类似问题提供了可借鉴的解决模式。