Apache DevLake 中 SonarQube 仪表板无数据问题的分析与解决

问题现象描述

在使用 Apache DevLake v1.0.2-beta1 版本时，用户反馈 SonarQube 流水线运行成功后，仪表板却显示无数据。具体表现为仪表板界面崩溃，无法展示任何分析结果。

问题根源分析

经过技术团队深入调查，发现该问题主要由两个关键因素导致：

1. 字符集不匹配问题：数据库表的字符集设置与系统要求不符，导致数据存储和检索异常。特别是当项目或问题标题包含特殊字符时，这一问题尤为明显。

2. Grafana 查询配置问题：仪表板的数据源配置和表引用方式不正确，导致查询无法获取到实际存储的数据。

解决方案详解

字符集调整方案

针对字符集问题，需要对相关数据库表执行字符集转换操作。以下是需要执行的 SQL 命令集：

ALTER TABLE _tool_sonarqube_projects CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;
ALTER TABLE _tool_sonarqube_issues CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;
ALTER TABLE _tool_sonarqube_issue_code_blocks CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;
ALTER TABLE _tool_sonarqube_security_reviews CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;
ALTER TABLE _tool_sonarqube_file_metrics CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;
ALTER TABLE _tool_sonarqube_accounts CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;
ALTER TABLE cq_projects CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;
ALTER TABLE cq_issues CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;
ALTER TABLE cq_issue_code_blocks CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;
ALTER TABLE cq_file_metrics CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_bin;

这些命令将相关表的字符集统一调整为 utf8mb4，确保能够正确处理各种字符，包括emoji等特殊符号。

Grafana 配置调整方案

对于 Grafana 仪表板显示问题，需要进行以下配置调整：

1. 将每个面板的数据源从"Mixed"改为"mysql"
2. 在查询中为表名添加"lake."前缀

例如，原始查询可能是：

SELECT * FROM _tool_sonarqube_projects

应修改为：

SELECT * FROM lake._tool_sonarqube_projects

这一调整确保了查询能够正确指向包含实际数据的数据库表。

实施步骤建议

1. 备份数据库：在执行任何修改前，务必对数据库进行完整备份
2. 执行字符集转换：依次运行上述字符集转换SQL命令
3. 重新运行流水线：确保数据被正确采集和处理
4. 调整Grafana配置：按照上述方法修改每个面板的数据源和查询语句
5. 验证结果：刷新仪表板，确认数据正常显示

技术原理说明

utf8mb4 是 MySQL 中完整的 UTF-8 实现，支持4字节的 Unicode 字符，而传统的 utf8 只支持3字节。在代码质量分析场景中，项目名称、问题描述等字段很可能包含各种特殊字符，使用 utf8mb4 能确保这些字符被正确存储和处理。

Grafana 的数据源配置问题则是因为在多数据源环境下，明确指定数据源和完整的表路径可以避免解析歧义，确保查询能够准确找到目标数据。

总结

通过上述两个方面的调整，可以解决 Apache DevLake 中 SonarQube 仪表板无数据的问题。这一解决方案不仅适用于当前版本，对于类似的数据显示问题也具有参考价值。建议用户在遇到类似问题时，首先检查数据库字符集设置和可视化工具的查询配置，这两个方面往往是数据无法正常显示的关键原因。