HeavyDB中GPU与CPU执行DISTINCT查询结果不一致问题分析

问题现象

在HeavyDB数据库系统中，发现了一个关于DISTINCT查询结果不一致的问题。当使用GPU执行引擎时，某些特定形式的DISTINCT查询会返回与CPU执行引擎不同的结果集。

具体表现为：对于包含DISTINCT、GROUP BY和LIMIT子句的查询，GPU执行引擎可能返回不符合预期的多行结果，而CPU执行引擎则能正确返回单行结果。

问题复现

通过以下测试用例可以稳定复现该问题：

-- 创建测试表并插入数据
CREATE TABLE t0(c0 TEXT);
INSERT INTO t0(c0) VALUES('AI');
INSERT INTO t0(c0) VALUES('ai');
INSERT INTO t0(c0) VALUES('');

-- CPU执行模式
ALTER SESSION SET EXECUTOR_DEVICE='CPU';
SELECT /*+ keep_result */ DISTINCT t0.c0 FROM t0 ORDER BY t0.c0 DESC LIMIT 1;

-- GPU执行模式
ALTER SESSION SET EXECUTOR_DEVICE='GPU';
SELECT /*+ keep_result */ DISTINCT t0.c0 FROM t0 ORDER BY t0.c0 DESC LIMIT 1;

在CPU模式下，查询正确返回单行NULL值；而在GPU模式下，错误地返回了三行结果（'AI'、'ai'和NULL）。

技术分析

查询执行流程差异

这个问题揭示了HeavyDB在GPU和CPU执行路径上对复杂查询处理逻辑的不一致性。具体来说：

1. DISTINCT处理：DISTINCT操作符应该消除结果集中的重复行
2. GROUP BY处理：GROUP BY子句对结果进行分组
3. LIMIT处理：LIMIT子句限制返回的行数

在理想情况下，这三个操作符的组合应该产生一致的结果，无论使用哪种执行设备。

GPU执行路径的问题

GPU执行引擎在处理这种特定查询组合时，可能出现了以下问题之一：

1. 操作符顺序错误：DISTINCT、GROUP BY和LIMIT的执行顺序可能不正确
2. 并行处理问题：GPU的并行计算特性可能导致某些中间结果处理不当
3. 内存管理问题：GPU内存中的结果集处理可能未正确应用LIMIT限制

影响范围

这个问题会影响所有使用GPU执行引擎且包含以下特征的查询：

• 同时使用DISTINCT和GROUP BY
• 包含ORDER BY和LIMIT子句
• 涉及文本类型(TEXT)的列

解决方案

该问题已在HeavyDB v7.2.5版本中得到修复。升级到该版本后，GPU和CPU执行引擎将产生一致的查询结果。

对于无法立即升级的用户，可以采取以下临时解决方案：

1. 强制使用CPU执行引擎处理这类查询
2. 重写查询，避免同时使用DISTINCT和GROUP BY
3. 在应用层进行结果过滤和处理

最佳实践

为避免类似问题，建议开发人员：

1. 对关键查询在不同执行引擎下进行结果验证
2. 复杂查询尽量简化，避免过多操作符组合
3. 定期升级数据库版本以获取问题修复
4. 对文本数据处理保持一致的排序规则设置

总结

这个案例展示了异构计算环境中数据库执行引擎一致性的重要性。HeavyDB团队通过版本更新解决了这个问题，体现了对查询结果准确性的重视。开发人员在使用GPU加速查询时，应当注意验证关键查询的结果一致性，特别是在涉及复杂操作符组合的情况下。