Drake项目macOS CI系统从MacStadium迁移至AWS EC2的技术实践
2025-06-20 22:12:45作者:庞眉杨Will
背景介绍
在持续集成(CI)系统中,macOS环境的构建一直是一个具有挑战性的环节。Drake项目团队近期完成了将macOS CI基础设施从MacStadium迁移到AWS EC2的重要技术升级。这一迁移工作涉及多个技术组件的协同调整,包括Jenkins配置、镜像构建、缓存服务器管理等多个方面。
迁移的技术挑战
macOS CI环境的迁移不同于普通的Linux环境迁移,主要面临以下几个技术难点:
- 硬件架构差异:需要处理ARM架构的Mac实例与原有环境的兼容性问题
- 环境一致性:确保新环境能够完全复现原有构建环境的行为
- 服务连续性:在迁移过程中需要最小化对开发团队的影响
- 认证与授权:处理如Gurobi等需要特殊授权的工具在新环境中的配置
迁移实施过程
整个迁移过程经过了周密的计划和分阶段实施:
前期准备阶段
- 镜像构建:在AWS EC2上预先构建好符合要求的macOS镜像,包括Sonoma和Sequoia两个版本
- 基础设施配置:设置专用的AWS EC2主机用于维护和构建镜像
- 测试验证:通过原型测试验证新环境的稳定性和兼容性
正式迁移阶段
-
Jenkins配置调整:
- 更新AMI ID以使用新构建的镜像
- 修改节点标签系统,将原有MacStadium节点标记为orka-mac-arm,新AWS节点标记为mac-arm
- 移除临时的-aws测试任务
-
CI系统调整:
- 移除与AWS测试相关的特殊逻辑
- 简化macOS相关的缓存服务器健康检查功能
-
文档更新:
- 更新构建监控(Buildcop)文档
- 完善内部CI系统文档
后期清理阶段
- 释放用于维护的专用AWS主机
- 移除Jenkins中的Orka插件及相关配置
技术亮点
- 渐进式迁移策略:采用分阶段迁移方式,先并行运行两套系统,再逐步切换
- 自动化管理:通过Jenkins任务自动化管理节点和构建过程
- 问题快速响应机制:针对Gurobi令牌服务器等特殊问题建立了监控和响应流程
经验总结
- 时间规划:选择在非发布周期进行迁移,降低对项目进度的影响
- 回退准备:保留原有系统配置,确保出现问题时能快速回退
- 监控机制:建立完善的监控体系,及时发现和解决迁移后的问题
未来优化方向
- 在AWS环境中建立macOS专用的缓存服务器
- 进一步优化构建性能,缩短CI流水线时间
- 完善异常处理机制,提高系统鲁棒性
这次成功的迁移不仅提升了Drake项目CI系统的稳定性和可维护性,也为其他需要进行类似迁移的项目提供了宝贵的实践经验。通过这次迁移,团队积累了处理复杂CI系统升级的重要经验,为未来的基础设施优化打下了坚实基础。
登录后查看全文
热门项目推荐
相关项目推荐
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00- DDeepSeek-V3.2-ExpDeepSeek-V3.2-Exp是DeepSeek推出的实验性模型,基于V3.1-Terminus架构,创新引入DeepSeek Sparse Attention稀疏注意力机制,在保持模型输出质量的同时,大幅提升长文本场景下的训练与推理效率。该模型在MMLU-Pro、GPQA-Diamond等多领域公开基准测试中表现与V3.1-Terminus相当,支持HuggingFace、SGLang、vLLM等多种本地运行方式,开源内核设计便于研究,采用MIT许可证。【此简介由AI生成】Python00
openPangu-Ultra-MoE-718B-V1.1昇腾原生的开源盘古 Ultra-MoE-718B-V1.1 语言模型Python00
HunyuanWorld-Mirror混元3D世界重建模型,支持多模态先验注入和多任务统一输出Python00
AI内容魔方AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。03
Spark-Scilit-X1-13BFLYTEK Spark Scilit-X1-13B is based on the latest generation of iFLYTEK Foundation Model, and has been trained on multiple core tasks derived from scientific literature. As a large language model tailored for academic research scenarios, it has shown excellent performance in Paper Assisted Reading, Academic Translation, English Polishing, and Review Generation, aiming to provide efficient and accurate intelligent assistance for researchers, faculty members, and students.Python00
GOT-OCR-2.0-hf阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile013
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
热门内容推荐
1 freeCodeCamp课程中JavaScript变量提升机制的修正说明2 freeCodeCamp 优化测验提交确认弹窗的用户体验3 freeCodeCamp CSS颜色测验第二组题目开发指南4 freeCodeCamp 课程中反馈文本问题的分析与修复5 freeCodeCamp全栈开发课程中关于HTML可访问性讲座的字幕修正6 freeCodeCamp Cafe Menu项目中的HTML void元素解析7 freeCodeCamp 个人资料页时间线分页按钮优化方案8 freeCodeCamp计算机基础测验题目优化分析9 freeCodeCamp全栈开发课程中Navbar组件构建的优化建议10 freeCodeCamp全栈开发课程中回文检测器项目的正则表达式教学优化
最新内容推荐
JavaWeb企业门户网站源码 - 企业级门户系统开发指南 中兴e读zedx.zed文档阅读器V4.11轻量版:专业通信设备文档阅读解决方案 TextAnimator for Unity:打造专业级文字动画效果的终极解决方案 CS1237半桥称重解决方案:高精度24位ADC称重模块完全指南 CrystalIndex资源文件管理系统:高效索引与文件管理的最佳实践指南 瀚高迁移工具migration-4.1.4:企业级数据库迁移的智能解决方案 WebVideoDownloader:高效网页视频抓取工具全面使用指南 IK分词器elasticsearch-analysis-ik-7.17.16:中文文本分析的最佳解决方案 Photoshop作业资源文件下载指南:全面提升设计学习效率的必备素材库 电脑PC网易云音乐免安装皮肤插件使用指南:个性化音乐播放体验
项目优选
收起
deepin linux kernel
C
23
6
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
237
2.36 K
仓颉编程语言运行时与标准库。
Cangjie
122
95
暂无简介
Dart
538
117
仓颉编译器源码及 cjdb 调试工具。
C++
114
83
React Native鸿蒙化仓库
JavaScript
216
291
Ascend Extension for PyTorch
Python
77
109
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
995
588
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
568
113
LLVM 项目是一个模块化、可复用的编译器及工具链技术的集合。此fork用于添加仓颉编译器的功能,并支持仓颉编译器项目。
C++
32
25