ByConity聚合查询优化器异常问题分析与解决方案

问题背景

在使用ByConity数据库系统执行包含多个聚合函数的查询时，系统可能会抛出std::out_of_range异常，错误信息显示为"unordered_map::at: key not found"。这种情况通常发生在同时使用any()函数和count(distinct)函数的聚合查询中。

问题复现

该问题可以通过以下SQL查询复现：

CREATE TABLE test
(
    id String,
    t1 DateTime,
    t2 DateTime,
    foo String
)
ENGINE = CnchMergeTree
PRIMARY KEY id
ORDER BY id;

SELECT
    toYYYYMM(t1) as dateTime,
    any(foo),
    count(distinct id)
from
    test
group by
    dateTime;

技术分析

从错误堆栈可以看出，问题发生在查询优化阶段，具体是在MultipleDistinctAggregationToExpandAggregate优化规则执行过程中。该优化规则负责处理包含多个DISTINCT聚合函数的查询优化。

根本原因

1. 优化器逻辑缺陷：当查询同时包含普通聚合函数(如any())和DISTINCT聚合函数(如count(distinct))时，优化器在生成执行计划时未能正确处理这种混合情况。

2. 映射表查找失败：优化器在处理非DISTINCT聚合函数时，尝试从一个内部映射表中查找相关信息，但由于逻辑错误导致查找失败。

3. 版本兼容性：该问题在ByConity 21.8.7.1版本中存在，但在后续版本中已得到修复。

解决方案

临时解决方案

对于当前版本的用户，可以通过以下设置临时规避此问题：

SET enable_expand_distinct_optimization = 0;

这个设置会禁用特定的查询优化规则，虽然可能影响某些复杂聚合查询的性能，但可以确保查询正常执行。

长期解决方案

1. 升级版本：建议升级到已修复该问题的ByConity后续版本。

2. 查询重写：对于必须使用当前版本的情况，可以考虑重写查询，将多个聚合操作拆分为多个子查询，然后通过JOIN合并结果。

最佳实践建议

1. 测试环境验证：在生产环境执行复杂聚合查询前，建议先在测试环境验证查询的正确性。

2. 监控优化器行为：对于关键业务查询，可以记录并分析查询执行计划，确保优化器行为符合预期。

3. 版本升级策略：定期评估数据库版本升级计划，及时获取官方修复和改进。

总结

ByConity在处理混合类型聚合查询时出现的这个优化器异常，反映了查询优化器在复杂场景下的边界条件处理问题。通过理解问题本质和掌握解决方案，用户可以有效地规避或解决这一问题，确保业务查询的稳定执行。