CockroachDB Pebble存储引擎的CI/CD优化实践

在现代软件开发中，持续集成和持续交付（CI/CD）是保证代码质量的重要环节。对于数据库存储引擎这样的核心组件来说，完善的测试体系尤为重要。CockroachDB团队近期对其Pebble存储引擎的CI/CD流程进行了重要优化，本文将详细介绍这一优化过程。

原有CI/CD体系的问题

Pebble存储引擎原有的CI/CD体系存在以下主要问题：

1. 测试构建数量过多：每个PR会触发多达22个测试构建，包括不同Go版本（1.22和1.23）下的各种配置组合
2. 资源消耗大：特别是对于s390x这样的架构，由于需要模拟运行，测试速度非常慢
3. 维护成本高：随着支持的平台和配置增加，测试矩阵会呈指数级增长

优化方案设计

团队提出的优化方案主要包括以下几个方面：

1. PR测试的精简

将PR触发的主要测试精简为三个核心测试项：

• 基础Linux构建：使用go.mod中指定的Go版本
• 跨版本兼容性测试：验证与不同版本Go的兼容性
• 代码规范检查：保证代码风格和质量

2. 夜间构建的强化

将其他测试项转移到夜间构建中，包括：

• 多版本Go测试（1.22和1.23）
• 不同平台测试（MacOS、Windows）
• 特殊配置测试（32位、无cgo、无invariants检查、竞态检测等）

3. 自动化问题跟踪

为夜间构建添加自动问题报告功能，当测试失败时自动创建issue，确保问题能够被及时跟踪和处理。

技术实现考量

这一优化方案考虑了多个技术因素：

1. 测试覆盖率：核心功能仍在每次PR时得到验证，而扩展测试通过夜间构建保证
2. 开发效率：减少了PR等待时间，加快了开发迭代速度
3. 资源利用率：将耗时测试集中在夜间执行，充分利用CI资源
4. 问题发现延迟：虽然部分测试改为夜间执行，但核心问题仍能即时发现

预期收益

这一优化将带来以下好处：

• 显著减少PR的等待时间
• 降低CI系统的负载
• 提高开发人员的生产力
• 保持测试覆盖率的完整性
• 为未来支持更多平台和配置预留空间

总结

CockroachDB团队对Pebble存储引擎CI/CD流程的优化，展示了如何通过合理的测试策略平衡开发效率与代码质量。这种将核心测试与扩展测试分离的思路，对于其他大型开源项目的CI/CD设计也具有参考价值。随着项目的不断发展，这种灵活的测试架构将能够更好地适应新的需求和挑战。