HeavyDB中GPU与CPU执行SELECT DISTINCT的差异分析

问题背景

在数据库查询优化过程中，我们经常会使用SELECT DISTINCT语句来获取列中的唯一值。然而，在HeavyDB分布式分析型数据库中，发现了一个有趣的现象：当使用GPU和CPU两种不同的执行设备时，对于包含负号运算的SELECT DISTINCT查询，返回结果的顺序会出现不一致的情况。

问题复现

通过以下测试案例可以清晰地复现这个问题：

首先创建一个分片表并插入测试数据：

CREATE TABLE t1(c0 integer, SHARD KEY(c0)) WITH (shard_count=28);
INSERT INTO t1(c0) VALUES(1);
INSERT INTO t1(c0) VALUES(2);

当使用CPU执行时：

ALTER SESSION SET EXECUTOR_DEVICE='CPU';
SELECT DISTINCT -(t1.c0) FROM t1;

返回结果为：

EXPR$0
-2
-1

而当切换至GPU执行时：

ALTER SESSION SET EXECUTOR_DEVICE='GPU';
SELECT DISTINCT -(t1.c0) FROM t1;

返回结果变为：

EXPR$0
-1
-2

技术分析

这个现象揭示了HeavyDB在GPU和CPU执行路径上的一个重要差异：

1. 执行计划差异：GPU和CPU对于包含表达式计算的DISTINCT操作可能采用了不同的优化策略和执行计划。

2. 排序行为不一致：虽然SQL标准不保证DISTINCT结果的顺序，但同一查询在不同执行引擎上产生不同顺序的结果可能反映出底层实现上的差异。

3. 表达式处理差异：负号运算符在GPU和CPU上的实现可能影响了最终结果的排序方式。

4. 并行处理模型：GPU的并行计算模型与CPU的串行/多线程模型在处理数据分片和合并结果时可能有不同的行为。

解决方案

该问题已在HeavyDB v8.0.1版本中得到修复。修复可能涉及以下方面：

1. 统一执行路径：确保GPU和CPU采用相同的算法处理DISTINCT操作。

2. 结果排序标准化：即使顺序不是SQL标准要求，也保持一致性以增强用户体验。

3. 表达式计算优化：改进负号运算符在GPU上的实现，使其与CPU行为一致。

最佳实践建议

对于需要确保结果一致性的生产环境：

1. 明确指定ORDER BY子句，不要依赖隐式排序
2. 在版本升级前进行全面测试
3. 对于关键业务查询，考虑固定执行设备类型
4. 监控查询计划，确保在不同设备上执行计划一致

总结

这个案例展示了分布式数据库系统中一个典型的多执行引擎一致性问题。HeavyDB团队通过版本更新解决了这个问题，体现了对查询结果一致性的重视。作为用户，理解不同硬件执行路径可能带来的细微差异，有助于更好地设计查询和解释结果。