Apache DataFusion 中 Duration 类型聚合性能优化实践

背景介绍

Apache DataFusion 是一个用 Rust 编写的现代化查询引擎，它提供了高性能的 SQL 查询执行能力。在数据分析领域，处理时间间隔（Duration）类型的聚合操作是一个常见需求，特别是在分析系统响应时间、处理延迟等场景下。

问题发现

在 DataFusion 项目中，开发团队注意到现有的 AVG 聚合函数在处理 Duration 类型数据时存在性能瓶颈。具体表现为：

1. 缺乏针对 Duration 类型的专门优化实现
2. 现有基准测试中没有覆盖 Duration 类型的聚合场景
3. 当需要对时间差进行平均值计算时，性能表现不理想

技术解决方案

团队提出了两个主要的技术改进方向：

1. 实现专门的 GroupsAccumulator 优化

通过为 Duration 类型实现专门的 GroupsAccumulator，可以显著提高 AVG(duration) 操作的性能。这种优化利用了 Rust 的类型系统和 DataFusion 的执行框架，为特定数据类型提供定制化的聚合计算路径。

测试数据显示，优化后的实现在相同查询下性能提升了约 35%：

• 优化前：约 0.478 秒
• 优化后：约 0.306 秒

2. 添加基准测试用例

为了验证优化效果并防止性能回退，团队设计了两类基准测试查询：

简单分组查询

SELECT
  "OS",
  AVG(to_timestamp("ResponseEndTiming")-to_timestamp("ResponseStartTiming")) as avg_response_time,
  AVG(to_timestamp("ResponseEndTiming")-to_timestamp("ConnectTiming")) as avg_latency
FROM 'hits_partitioned'
GROUP BY "OS"
ORDER BY avg_latency DESC

这类查询产生约 91 个分组，适合测试基础聚合性能。

复杂分组查询

SELECT
  "RegionID",
  "UserAgent",
  "OS",
  AVG(to_timestamp("EventTime") - '2013-07-01T20:00:00'::timestamp) as a_start,
  AVG(to_timestamp("EventTime") - '2013-07-01T20:00:00'::timestamp) as a_end
FROM 'hits_partitioned'
GROUP BY "RegionID", "UserAgent", "OS"
ORDER BY a_start, a_end DESC

这类查询会产生更多分组（约 138,826 个），能够更好地测试系统在高基数分组下的聚合性能。

业务场景应用

这些优化特别适用于以下业务分析场景：

1. 系统性能分析：计算不同操作系统(OS)的平均响应时间和延迟
2. 用户行为分析：分析不同地区、用户代理组合的时间模式
3. 服务质量监控：识别响应时间异常的区域-设备组合

例如，通过分析不同 OS 的响应时间差异，可以识别出性能问题：

+-----+-------------------------------------------+------------------------------------------+
| OS  | avg_response_time                         | avg_latency                              |
+-----+-------------------------------------------+------------------------------------------+
| 103 | 0 days 0 hours 13 mins 47.509466437 secs  | 0 days 0 hours 13 mins 47.509466437 secs |
| 74  | 0 days 0 hours 12 mins 51.287431013 secs  | 0 days 0 hours 13 mins 47.184892702 secs |
| 49  | 0 days 0 hours 13 mins 9.107811258 secs   | 0 days 0 hours 13 mins 42.811185779 secs |
...

技术实现要点

1. Duration 类型处理：通过时间戳相减得到 Duration 类型
2. 聚合优化：为 Duration 实现专门的累加器，避免通用实现的性能开销
3. 基准测试设计：覆盖不同分组基数场景，确保优化效果可测量

总结

DataFusion 通过对 Duration 类型聚合的专门优化，显著提升了时间相关分析查询的性能。这一改进不仅体现在技术指标上，更能为实际业务分析提供更高效的支持。通过精心设计的基准测试，团队确保了优化效果的可靠性和可持续性。

这种针对特定数据类型的优化思路，也为 DataFusion 处理其他复杂数据类型提供了可借鉴的经验。随着越来越多的企业需要处理时间序列数据，这类优化将发挥越来越重要的作用。