ManticoreSearch 中实现按 count(distinct) 排序的分面查询功能

分面查询与排序需求

在ManticoreSearch这个开源搜索引擎中，分面查询(Facet)是一种强大的数据分析功能，它允许用户对数据进行分组统计。在实际业务场景中，我们经常需要对分面结果进行排序，特别是按照某些聚合指标进行排序。

当前版本中存在一个功能限制：无法在分面查询中按照count(distinct 字段)的方式进行排序。例如，执行类似facet a distinct b order by count(distinct b)的查询会直接报语法错误。

技术实现解析

原有架构分析

在原有架构中，ManticoreSearch的查询解析器对分面查询中的排序子句处理较为严格，特别是对于包含distinct关键字的聚合函数。当解析器遇到order by count(distinct b)这样的语法时，会直接抛出语法错误，因为它没有预期到在排序子句中会出现distinct关键字。

解决方案设计

实现这一功能需要修改查询解析器的以下部分：

1. 语法解析扩展：修改语法解析规则，允许在分面查询的排序子句中使用count(distinct 字段)表达式。

2. 聚合计算逻辑：确保在执行分面查询时，能够正确计算每个分组的唯一值计数。

3. 排序处理：在生成最终结果时，按照计算出的唯一值计数进行排序。

实现细节

核心修改集中在查询解析阶段，需要：

• 扩展语法分析器，识别count(distinct 字段)这种聚合表达式
• 确保在构建执行计划时，正确传递这种排序条件
• 在执行阶段，正确计算每个分组的唯一值数量
• 保持与现有功能的兼容性

使用示例

实现后，用户可以执行如下查询：

SELECT * FROM products 
FACET category ORDER BY count(distinct brand_id) DESC
FACET brand ORDER BY count(distinct category_id) DESC

这个查询将：

1. 首先按商品类别分组，并按每个类别下不同品牌的数量降序排列
2. 然后按品牌分组，并按每个品牌下不同类别的数量降序排列

注意事项

1. 当前实现不支持在单个分面查询中使用多个distinct字段进行排序
2. 该功能在列式存储(columnar)模式下需要特别注意兼容性
3. 性能考虑：计算唯一值计数会比普通计数消耗更多资源

总结

ManticoreSearch通过这一改进，增强了分面查询的灵活性，使数据分析更加方便。用户现在可以按照分组内唯一值的数量来排序分面结果，这对于分析数据分布特征特别有用。这一功能的实现体现了ManticoreSearch对实际业务需求的快速响应能力。