Apache DevLake DORA 仪表盘性能优化实践

背景介绍

Apache DevLake 是一个开源的数据湖平台，用于收集、分析和可视化软件开发过程中的各项指标。其中 DORA（DevOps Research and Assessment）仪表盘是核心功能之一，用于展示研发效能的关键指标。

性能问题分析

在 v1.0.1-beta5 版本中，DORA 仪表盘的两个关键面板"Overall DORA Metrics"和"Change Failure Rate"存在严重的性能问题。原始SQL查询执行时间长达31.7秒，严重影响用户体验。

通过分析发现，问题出在以下SQL查询结构上：

SELECT
    CASE
      WHEN COUNT(i.id) = 0 AND COUNT(cdc.id) = 0 THEN 'No All'
      WHEN COUNT(i.id) = 0 THEN 'No Incidents'
      WHEN COUNT(cdc.id) = 0 THEN 'No Deployments'
    END AS is_collected
FROM
    (SELECT 1) AS dummy
    LEFT JOIN incidents i ON 1 = 1
    LEFT JOIN cicd_deployment_commits cdc ON 1 = 1;

这种写法会导致数据库执行笛卡尔积运算，当incidents表有3193条记录，cicd_deployment_commits表有177462条记录时，会产生约567亿条中间结果，造成巨大的计算开销。

优化方案

优化思路

1. 避免全表连接：原始查询无条件连接两个大表，这是性能瓶颈的根本原因
2. 提前聚合：先对两个表分别进行计数，再进行结果合并
3. 添加过滤条件：结合项目筛选和时间范围过滤，减少数据处理量

优化后的SQL

SELECT
    CASE
      WHEN i.cnt = 0 AND cdc.cnt = 0 THEN 'No All'
      WHEN i.cnt = 0 THEN 'No Incidents'
      WHEN cdc.cnt = 0 THEN 'No Deployments'
    END AS is_collected
FROM
    (
      SELECT COUNT(*) AS cnt FROM incidents i
      JOIN project_mapping pm ON i.scope_id = pm.row_id AND pm.`table` = i.`table`
      WHERE pm.project_name IN (${project}) AND $__timeFilter(i.created_date)
    ) AS i
    LEFT JOIN (
      SELECT COUNT(*) AS cnt FROM cicd_deployment_commits cdc
      JOIN project_mapping pm ON cdc.cicd_scope_id = pm.row_id AND pm.`table` = 'cicd_scopes'
      WHERE pm.project_name IN (${project}) AND $__timeFilter(cdc.finished_date)
    ) AS cdc ON 1 = 1;

优化效果

优化后的查询执行时间从31.7秒降低到0.02秒，性能提升了约1500倍。这主要得益于：

1. 消除了笛卡尔积运算
2. 利用了索引扫描（incidents_resolution_date_idx和cicd_deployment_commits_finished_date_idx）
3. 减少了中间结果集的大小

技术要点

1. SQL优化原则：避免不必要的表连接，特别是无条件连接大表
2. Grafana最佳实践：合理使用模板变量（如${project}）和时间过滤器（$__timeFilter）
3. 数据模型理解：正确关联project_mapping表以支持多项目筛选
4. 索引利用：确保查询能够利用现有索引提高效率

总结

通过对DORA仪表盘SQL查询的重构，我们解决了性能瓶颈问题。这个案例展示了在数据可视化场景中，SQL查询优化的重要性。开发者在编写类似查询时，应该：

1. 始终考虑数据量和连接方式的影响
2. 优先使用过滤条件减少数据处理量
3. 合理利用数据库索引
4. 避免产生不必要的中间结果

这种优化思路不仅适用于Apache DevLake项目，对于其他需要处理大量数据的仪表盘开发也具有参考价值。