Apache DevLake DORA 仪表盘性能优化实践

Apache DevLake 是一个开源的数据湖平台，用于收集、分析和可视化软件开发过程中的各项指标。其中 DORA（DevOps Research and Assessment）仪表盘是评估团队 DevOps 效能的重要工具，但在实际使用中我们发现其查询性能存在瓶颈。

问题背景

在 DevLake v1.0.1-beta5 版本中，DORA 仪表盘的两个关键面板——"Overall DORA Metrics"和"Change Failure Rate"存在严重的性能问题。原始 SQL 查询执行时间长达 31.7 秒，这对于实时监控来说是不可接受的。

性能瓶颈分析

通过分析原始查询的执行计划，我们发现主要问题在于：

1. 全表连接：查询对 incidents 和 cicd_deployment_commits 表进行了无条件连接
2. 笛卡尔积：由于连接条件为 1=1，导致产生了 5.67 亿条中间结果
3. 缺乏过滤：没有应用项目和时间范围等常见过滤条件

具体来看，incidents 表有 3193 条记录，cicd_deployment_commits 表有 177462 条记录，它们的笛卡尔积导致了巨大的计算量。

优化方案

我们提出了以下优化策略：

1. 避免全表扫描：改为先计算子查询的计数，再进行连接
2. 添加过滤条件：引入项目和时间范围过滤
3. 优化连接方式：使用简单的计数结果连接，而非原始表连接

优化后的查询结构如下：

SELECT
    CASE
      WHEN i.cnt = 0 AND cdc.cnt = 0 THEN 'No All'
      WHEN i.cnt = 0 THEN 'No Incidents'
      WHEN cdc.cnt = 0 THEN 'No Deployments'
    END AS is_collected
FROM
    (SELECT COUNT(*) AS cnt FROM incidents i
     JOIN project_mapping pm ON i.scope_id = pm.row_id AND pm.`table` = i.`table`
     WHERE pm.project_name IN (${project}) AND $__timeFilter(i.created_date)
    ) AS i
    LEFT JOIN (
        SELECT COUNT(*) AS cnt FROM cicd_deployment_commits cdc
        JOIN project_mapping pm ON cdc.cicd_scope_id = pm.row_id AND pm.`table` = 'cicd_scopes'
        WHERE pm.project_name IN (${project}) AND $__timeFilter(cdc.finished_date)
    ) AS cdc ON 1 = 1

优化效果

经过上述优化后：

1. 查询执行时间从 31.7 秒降至 0.02 秒
2. 避免了不必要的笛卡尔积计算
3. 结果集大小从 5.67 亿条降至 1 条
4. 计算成本从 113e+6 降至可忽略不计

实施建议

对于类似的数据分析场景，我们建议：

1. 始终考虑数据过滤条件，避免全表处理
2. 优先计算聚合结果，再进行连接操作
3. 合理利用索引，特别是时间范围查询
4. 对于大表连接，考虑使用子查询先过滤数据

这种优化思路不仅适用于 DevLake 的 DORA 仪表盘，也可以推广到其他数据分析场景中，特别是涉及大表连接和聚合计算的场景。

总结

通过对 DevLake DORA 仪表盘的 SQL 查询进行重构，我们成功解决了性能瓶颈问题。这一案例展示了在数据分析系统中，合理的查询设计和优化可以带来数量级的性能提升。开发者在设计类似的数据分析查询时，应当特别注意避免全表连接和笛卡尔积的产生，这是保证查询性能的关键所在。