TensorZero项目中的查询优化实践：countEpisodes性能提升

在TensorZero项目中，开发团队近期对一个名为countEpisodes的查询进行了性能优化，通过重构SQL查询语句和利用ClickHouse特有的聚合函数，实现了约20%的性能提升。本文将详细介绍这次优化的技术细节和背后的思考。

原始查询分析

最初的查询实现使用了两个表的UNION ALL操作，然后对合并结果进行COUNT DISTINCT计算：

SELECT toUInt32(COUNTDistinct(episode_id)) AS count
FROM
(
    SELECT episode_id
    FROM ChatInference
    UNION ALL
    SELECT episode_id
    FROM JsonInference
)

这种实现存在几个潜在的性能问题：

1. 需要扫描两个完整的表(ChatInference和JsonInference)
2. 使用UNION ALL操作会产生中间结果集
3. COUNT DISTINCT操作在大数据集上性能较差

优化后的查询

优化后的查询直接使用了一个预聚合表InferenceByEpisodeId，并采用了ClickHouse特有的uniqExact函数：

SELECT toUInt32(uniqExact(episode_id_uint)) AS count
FROM InferenceByEpisodeId

这个优化带来了几个显著优势：

1. 避免了多表扫描和合并操作
2. 使用专门为精确去重计数优化的uniqExact函数
3. 直接操作预聚合表，减少了数据处理量

进一步优化方向

项目成员还讨论了未来可能的进一步优化方案：

1. 近似计数方案：对于超过100万条记录的数据集，可以考虑使用uniqCombined函数进行近似计数，结果显示为"~XX.XM"格式，这在超大规模数据集上能显著提升性能。

2. 物化视图方案：使用ClickHouse的SummingMergeTree表和物化视图(Materialized View)可以实现真正的实时计数，无需全表扫描。这种方案类似于ClickHouse官方文档中展示的增量物化视图示例。

技术选型思考

在数据库查询优化中，通常需要在精确性和性能之间做出权衡。TensorZero团队的选择体现了几个重要的优化原则：

1. 预聚合优先：尽可能使用预计算好的聚合数据，避免实时计算
2. 专用函数优势：利用数据库特有的优化函数(如uniqExact)替代通用SQL函数
3. 渐进式优化：先实现简单有效的优化，再考虑更复杂的架构改进

总结

这次优化展示了在数据分析系统中常见的性能优化模式：通过重构查询逻辑、利用数据库特性和考虑近似计算，可以在不改变功能的前提下显著提升系统性能。TensorZero团队的做法为类似场景下的查询优化提供了很好的参考范例。