Apache DevLake 自定义插件增量CSV上传功能解析

背景与需求

在DevLake项目的实际应用中，用户经常需要通过自定义插件上传CSV格式的问题数据（issues）和问题-代码库提交关联数据（issue_repo_commits）。传统全量上传方式存在两个显著痛点：一是随着数据量增长，CSV文件体积膨胀导致维护困难；二是每次上传都会覆盖历史数据，存在数据丢失风险。

技术方案设计

项目组设计了一套增量上传机制，核心思路是通过唯一键约束实现数据的智能合并而非简单覆盖。该方案针对两种数据类型分别处理：

问题数据（issues）处理

1. 参数扩展：新增incremental布尔参数（默认false保持向后兼容）
2. 增量模式逻辑：
   • 跳过原有的清表操作
   • 将issues表操作改为基于ID的创建或更新（CreateOrUpdate）
   • 保留标签表（issue_labels）和看板-问题关联表（board_issues）的原有合并逻辑
3. 关键索引：issues表使用id作为主键，关联表采用复合主键（如board_id+issue_id）

问题-提交关联数据（issue_repo_commits）处理

1. 相同参数扩展：同样新增incremental参数
2. 增量更新策略：
   • 取消关联数据的清除步骤
   • 采用三字段复合主键（issue_id+repo_url+commit_sha）进行记录合并
3. 数据一致性保障：通过事务确保关联表（issue_commits）的同步更新

实现价值

1. 数据安全：消除全量覆盖导致的历史数据丢失风险
2. 性能优化：减少不必要的数据删除和重建操作
3. 运维简化：用户只需准备增量数据文件，大幅降低CSV维护成本
4. 灵活切换：通过参数控制可随时切换全量/增量模式

技术细节亮点

• 智能合并算法：基于主键自动判别新增记录与待更新记录
• 事务保护：关键操作通过数据库事务保证原子性
• 资源隔离：通过boardId实现多租户数据隔离
• 兼容性设计：默认保持原有全量模式，确保现有流程不受影响

该功能现已合并至主分支，标志着DevLake在数据采集灵活性方面迈出重要一步，为大规模持续集成场景提供了更优解决方案。