Apache DevLake中DORA仪表板SQL查询性能优化实践

Apache DevLake作为一款开源的数据湖平台，其内置的DORA（DevOps Research and Assessment）仪表板是评估研发效能的重要工具。然而在实际使用过程中，部分面板的SQL查询性能问题逐渐暴露出来，特别是"Overall DORA Metrics"和"Change Failure Rate"这两个面板，查询执行时间长达30秒以上，严重影响用户体验。

问题诊断

通过分析原始SQL查询，我们发现性能瓶颈主要出现在以下方面：

1. 全表连接问题：查询中对incidents和cicd_deployment_commits表进行了无条件连接（ON 1=1），导致产生了笛卡尔积
2. 无效数据扫描：查询没有利用项目筛选和时间范围过滤，处理了大量不必要的数据
3. 聚合计算方式：直接在连接后的海量数据上执行COUNT聚合，计算效率低下

具体来看，incidents表有3193条记录，cicd_deployment_commits表有177462条记录，两者无条件连接后会产生约5.67亿条中间结果（3193×177462），这解释了为何查询耗时长达31秒。

优化方案

针对上述问题，我们提出以下优化策略：

1. 预聚合计数：先对各个表分别执行COUNT操作，再合并结果，避免处理海量中间数据
2. 添加必要过滤条件：通过project_mapping表关联，只统计指定项目的数据
3. 应用时间范围过滤：利用Grafana的$__timeFilter宏，只处理相关时间段内的数据

优化后的SQL查询结构如下：

SELECT
    CASE
      WHEN i.cnt = 0 AND cdc.cnt = 0 THEN 'No All'
      WHEN i.cnt = 0 THEN 'No Incidents'
      WHEN cdc.cnt = 0 THEN 'No Deployments'
    END AS is_collected
FROM
    (SELECT COUNT(*) AS cnt FROM incidents i
     JOIN project_mapping pm ON i.scope_id = pm.row_id AND pm.table = i.table
     WHERE pm.project_name IN (${project}) AND $__timeFilter(i.created_date)
    ) AS i
    LEFT JOIN (
        SELECT COUNT(*) AS cnt FROM cicd_deployment_commits cdc
        JOIN project_mapping pm ON cdc.cicd_scope_id = pm.row_id AND pm.table = 'cicd_scopes'
        WHERE pm.project_name IN (${project}) AND $__timeFilter(cdc.finished_date)
    ) AS cdc ON 1 = 1

优化效果

经过上述优化后，查询性能得到显著提升：

1. 执行时间：从原来的31秒降低到0.02秒，提升约1500倍
2. 资源消耗：避免了不必要的全表扫描和笛卡尔积计算
3. 结果准确性：通过项目和时间过滤，确保统计结果与用户当前视图一致

最佳实践建议

基于此次优化经验，我们总结出以下DevLake仪表板开发的最佳实践：

1. 避免无条件连接：特别是对于大表，应该始终指定合理的连接条件
2. 尽早过滤数据：在子查询中就应用项目筛选和时间范围限制
3. 合理使用预聚合：对于计数类操作，先在小范围内聚合再合并结果
4. 利用Grafana宏：$__timeFilter等宏可以自动应用仪表板的时间范围设置
5. 定期审查查询性能：随着数据量增长，需要定期检查并优化现有查询

这些优化原则不仅适用于DORA仪表板，也可以推广到DevLake中的其他数据展示场景，帮助开发者构建更高效、更稳定的数据可视化解决方案。