Apache DevLake 新增 QA 领域支持及 CSV 导入功能解析

背景与需求

在现代 DevOps 实践中，测试数据的可视化与分析是软件开发生命周期中的重要环节。Apache DevLake 作为开源的数据湖平台，此前已支持问题跟踪、代码管理、CI/CD 等多个领域的数据抽象，但缺乏对测试领域的原生支持。这导致团队难以统一分析来自不同测试工具（如 Jira、TestRail 等）的测试用例、执行结果等数据。

技术方案设计

1. QA 领域模型构建

项目新增了以下核心实体：

• QaProject：测试项目实体，通过测试用例数据隐式创建
• QaTestCase：测试用例实体，包含类型标记（功能测试/API 测试）
• QaTestCaseExecution：测试执行记录，含时间戳和状态跟踪
• QaApi（可选）：API 元数据实体，用于覆盖率统计

实体间通过外键建立关联，形成完整的测试数据拓扑结构。例如，一个测试执行记录必须关联到具体的测试用例和项目。

2. 定制化插件扩展

通过扩展 Customize 插件实现 CSV 导入能力，设计了三类标准接口：

• /qa_apis.csv：API 元数据导入
• /qa_test_cases.csv：测试用例及关联项目导入
• /qa_test_case_executions.csv：测试执行记录导入

每个接口采用 RESTful 设计，支持 POST 方式上传符合规范结构的 CSV 文件。系统会自动解析字段并建立实体间的关联关系。

3. 数据导入规范

CSV 文件采用特定字段结构设计：

• 测试用例文件包含 id、type、api_id 等核心字段
• 执行记录文件包含 qa_test_case_id、status 等执行元数据
• 采用创建者名称（creator_name）而非 ID 的引用方式，系统会自动在账户表中创建对应记录

实现亮点

1. 隐式项目创建：通过测试用例数据中的 qa_project_id 和 qa_project_name 自动维护项目实体，简化导入流程。

2. 执行状态追踪：支持 PENDING/IN_PROGRESS/SUCCESS/FAILED 四种标准状态，覆盖主流测试工具的状态模型。

3. 增量导入支持：基于 id 字段实现记录去重，确保多次导入不会产生重复数据。

4. 模块化设计：API 数据与测试用例数据分离导入，保持领域边界清晰。

典型应用场景

某团队使用 MeterSphere 进行测试管理，可以通过以下步骤实现数据接入：

1. 从 MeterSphere 导出测试用例数据到 qa_test_cases.csv
2. 导出执行记录到 qa_test_case_executions.csv
3. 通过 DevLake 定制化插件接口批量导入
4. 在数据看板中分析测试通过率、执行耗时等质量指标

未来演进方向

当前版本暂未实现测试批次（batch）概念，后续可考虑扩展以下能力：

• 增加批次维度分析，支持按测试计划聚合结果
• 引入测试环境标记，区分不同环境下的执行数据
• 增强与 CI/CD 流水线的关联分析能力

该功能的实现使得 DevLake 的领域模型更加完整，为团队提供了端到端的质量数据洞察能力。通过标准化的 CSV 导入接口，有效降低了异构测试系统的接入成本。