Drake项目macOS CI系统从MacStadium迁移至AWS EC2的技术实践

背景介绍

在持续集成(CI)系统中，macOS环境的构建一直是一个具有挑战性的环节。Drake项目团队近期完成了将macOS CI基础设施从MacStadium迁移到AWS EC2的重要技术升级。这一迁移工作涉及多个技术组件的协同调整，包括Jenkins配置、镜像构建、缓存服务器管理等多个方面。

迁移的技术挑战

macOS CI环境的迁移不同于普通的Linux环境迁移，主要面临以下几个技术难点：

1. 硬件架构差异：需要处理ARM架构的Mac实例与原有环境的兼容性问题
2. 环境一致性：确保新环境能够完全复现原有构建环境的行为
3. 服务连续性：在迁移过程中需要最小化对开发团队的影响
4. 认证与授权：处理如Gurobi等需要特殊授权的工具在新环境中的配置

迁移实施过程

整个迁移过程经过了周密的计划和分阶段实施：

前期准备阶段

1. 镜像构建：在AWS EC2上预先构建好符合要求的macOS镜像，包括Sonoma和Sequoia两个版本
2. 基础设施配置：设置专用的AWS EC2主机用于维护和构建镜像
3. 测试验证：通过原型测试验证新环境的稳定性和兼容性

正式迁移阶段

1. Jenkins配置调整：

   • 更新AMI ID以使用新构建的镜像
   • 修改节点标签系统，将原有MacStadium节点标记为orka-mac-arm，新AWS节点标记为mac-arm
   • 移除临时的-aws测试任务

2. CI系统调整：

   • 移除与AWS测试相关的特殊逻辑
   • 简化macOS相关的缓存服务器健康检查功能

3. 文档更新：

   • 更新构建监控(Buildcop)文档
   • 完善内部CI系统文档

后期清理阶段

1. 释放用于维护的专用AWS主机
2. 移除Jenkins中的Orka插件及相关配置

技术亮点

1. 渐进式迁移策略：采用分阶段迁移方式，先并行运行两套系统，再逐步切换
2. 自动化管理：通过Jenkins任务自动化管理节点和构建过程
3. 问题快速响应机制：针对Gurobi令牌服务器等特殊问题建立了监控和响应流程

经验总结

1. 时间规划：选择在非发布周期进行迁移，降低对项目进度的影响
2. 回退准备：保留原有系统配置，确保出现问题时能快速回退
3. 监控机制：建立完善的监控体系，及时发现和解决迁移后的问题

未来优化方向

1. 在AWS环境中建立macOS专用的缓存服务器
2. 进一步优化构建性能，缩短CI流水线时间
3. 完善异常处理机制，提高系统鲁棒性

这次成功的迁移不仅提升了Drake项目CI系统的稳定性和可维护性，也为其他需要进行类似迁移的项目提供了宝贵的实践经验。通过这次迁移，团队积累了处理复杂CI系统升级的重要经验，为未来的基础设施优化打下了坚实基础。