Apache Pulsar CI系统升级：应对GitHub Actions Artifact API变更的技术实践

Apache Pulsar作为高性能分布式消息系统，其持续集成(CI)流程对于保证代码质量至关重要。近期GitHub宣布将逐步淘汰Artifact Actions的v1-v3版本，这一变更直接影响Pulsar CI系统中自定义构建缓存机制的运作。本文将深入分析这一技术挑战及解决方案。

背景与挑战

GitHub Actions的Artifact服务是CI/CD流程中常用的构建缓存机制，允许在不同工作流步骤间共享构建产物。Pulsar项目采用了一种创新的自定义客户端实现，通过JavaScript库直接调用GitHub API，而非使用标准Actions，这种设计提供了更大的灵活性。

随着GitHub宣布2024年11月30日后停止支持v3及以下版本的Artifact API，所有依赖这些版本的CI流程将面临失效风险。Pulsar的CI系统特别依赖这一机制来缓存Docker镜像和构建二进制文件，这对集成测试和系统测试的效率至关重要。

技术实现分析

Pulsar CI系统的独特之处在于其自定义的"GitHub Actions Artifact客户端"。该实现主要功能包括：

1. 构建产物缓存：在构建阶段完成后，将Docker镜像保存为构建产物
2. 跨作业共享：在测试阶段从缓存恢复Docker镜像，避免重复构建
3. 二进制共享：在不同测试作业间共享编译后的二进制文件

核心机制通过shell脚本调用JavaScript客户端实现，这种设计比标准Actions提供了更精细的控制能力，但也带来了维护成本。

升级方案与实施

升级到v4 API涉及以下关键技术点：

1. API兼容性处理：v4 API在接口设计和行为上与旧版本有显著差异，需要调整客户端实现
2. 性能优化：新API提供了更高效的传输机制，实测显示上传速度可达186MiB/s
3. 流式处理改进：在恢复Docker镜像时实现了边下载边加载的流式处理，大幅提升效率

实施后的性能数据显示：

• Docker镜像上传速度显著提升
• 镜像恢复过程实现无缝流式处理
• 整体CI流程时间缩短

经验总结

这次升级不仅解决了API废弃带来的兼容性问题，还意外获得了性能提升。关键经验包括：

1. 自定义解决方案的优势：相比标准Actions，自定义客户端可以提供更好的控制和优化空间
2. 前瞻性设计的重要性：CI系统的设计需要考虑服务提供商的API演进路线
3. 性能监控的价值：通过详细性能数据验证改进效果

对于其他面临类似升级的项目，建议：

• 尽早评估依赖的第三方API生命周期
• 考虑自定义解决方案带来的长期收益
• 建立完善的性能基准测试机制

这次升级确保了Pulsar项目CI系统的长期稳定性，同时也为社区提供了有价值的参考案例。