GreptimeDB中Distinct On查询导致崩溃问题分析

在GreptimeDB 0.13.1版本中，当用户执行包含DISTINCT ON子句的SQL查询时，系统会出现崩溃现象。这个问题源于底层数据处理框架DataFusion对Distinct On操作符的支持不完善，特别是在处理排序表达式时存在缺陷。

问题现象

用户在执行类似以下SQL查询时遇到系统崩溃：

SELECT DISTINCT ON (from) * FROM user ORDER BY from, ts DESC;

系统会生成崩溃报告并终止运行，错误信息表明"with_new_exprs for Distinct does not support sort expressions"。

技术背景

在SQL查询处理中，DISTINCT ON是一种特殊语法，它允许用户基于指定列去重，同时保留每组中的第一条记录。PostgreSQL等数据库支持这种语法，它通常与ORDER BY子句配合使用，以确定每组中哪条记录被保留。

GreptimeDB使用DataFusion作为其查询引擎的基础框架。DataFusion中有一个DistinctOn逻辑计划节点来处理这种查询。

问题根源

深入分析发现，问题出在DataFusion框架的两个关键方法的实现不一致上：

1. expressions()方法：DistinctOn节点的这个方法会返回排序表达式(sort_expr)
2. with_new_exprs()方法：这个方法却不支持处理排序表达式

这种不对称性导致当查询优化器尝试对逻辑计划进行转换时，系统无法正确处理DistinctOn节点中的排序表达式，最终引发panic。

解决方案

修复方案需要确保DistinctOn节点能够正确处理排序表达式。具体来说：

1. 修改with_new_exprs()实现，使其能够识别并保留DistinctOn特有的排序表达式
2. 确保查询优化过程中排序信息不会丢失
3. 保持与其他逻辑计划节点转换行为的一致性

这种修复属于查询引擎层面的改进，需要深入了解查询优化器的执行流程和表达式处理机制。

影响范围

该问题主要影响：

1. 使用DISTINCT ON语法的查询
2. 特别是那些同时包含ORDER BY子句的复杂查询
3. GreptimeDB 0.13.1及之前版本

修复版本

该问题已在GreptimeDB v0.13.2版本中得到修复。用户升级到这个或更高版本后，可以正常使用DISTINCT ON查询功能而不会遇到崩溃问题。

总结

这个问题展示了数据库系统中查询处理复杂性的一个典型案例。即使是看似简单的语法特性，在底层实现时也需要考虑各种边界情况和组件间的交互。GreptimeDB团队通过及时识别和修复这个问题，进一步提升了系统的稳定性和SQL语法的兼容性。