Harvester项目升级故障分析与解决方案:从1.4.2到1.5.0的升级挑战
问题背景
在Harvester集群从1.4.2版本升级到1.5.0版本的过程中,用户遇到了节点升级卡顿的问题。具体表现为:系统升级成功后,3个节点中有2个成功升级,但第3个节点(harvester4)长时间停留在"images preloaded"状态,导致整个升级流程无法完成。
故障现象分析
通过深入分析支持包和系统日志,我们发现以下关键问题点:
-
节点状态不一致:虽然Kubernetes集群显示3个节点,但系统中存在多余的节点设备记录和机器对象,表明之前删除节点时未完全清理干净。
-
升级流程阻塞:升级控制器在harvester4节点上卡在"images preloaded"阶段,无法继续后续的节点升级流程。
-
节点元数据问题:
/etc/os-release
文件显示节点仍运行在v1.4.2版本,而其他组件已升级到v1.5.0,表明节点操作系统升级未完成。
根本原因
经过技术团队深入排查,确定问题主要由以下因素导致:
-
残留的机器对象:系统中存在已删除节点(harvester2)的残留机器对象,干扰了升级流程的正常执行。
-
节点升级流程中断:升级过程中某些步骤(如drain操作)未能正确完成,导致升级流程无法继续。
-
证书过期问题:初期支持包生成失败与系统证书过期有关,虽然这不是升级失败的直接原因,但影响了故障诊断过程。
解决方案
针对上述问题,我们推荐以下解决步骤:
-
清理残留对象:
- 删除无效的机器对象(如custom-1d1de6c3ae63和custom-9626842a1f91)
- 移除不再使用的节点设备记录(如harvester2)
-
修复升级流程:
- 执行post-drain脚本完成被中断的drain操作
- 手动删除卡住的升级CR(hvst-upgrade-zjft7)
- 重新触发升级流程
-
节点修复:
- 对于无法自动升级的节点(harvester4),建议考虑重新加入集群
- 检查节点网络和存储配置,确保升级环境正常
技术细节与最佳实践
-
升级前检查:
- 使用
kubectl get machines -n fleet-local
检查机器对象状态 - 验证
/etc/os-release
文件内容与当前版本一致 - 确保所有节点证书有效
- 使用
-
升级过程监控:
- 关注升级CR的状态变化
- 检查节点drain操作的完成情况
- 监控系统组件的版本一致性
-
故障处理技巧:
- 使用drain-status.sh脚本诊断节点升级状态
- 分析支持包中的yaml目录获取集群配置详情
- 检查Provisioning Cluster资源的状态信息
经验总结
-
版本兼容性:跨版本升级(特别是从1.4.x到1.5.0)需要更加谨慎,建议先在测试环境验证。
-
资源清理:删除节点时务必确认所有相关资源(机器对象、节点设备记录等)已完全清理。
-
监控工具:掌握支持包分析工具的使用方法,能够快速定位升级问题。
-
流程理解:深入理解Harvester升级流程的各个阶段(镜像准备、节点drain、系统服务升级等),有助于快速诊断问题。
通过本次故障处理,我们不仅解决了具体的升级问题,也为Harvester集群的维护积累了宝贵经验。建议用户在升级前充分准备,升级过程中密切监控,遇到问题时及时收集完整信息以便快速诊断。
HunyuanImage-3.0
HunyuanImage-3.0 统一多模态理解与生成,基于自回归框架,实现文本生成图像,性能媲美或超越领先闭源模型00- DDeepSeek-V3.2-ExpDeepSeek-V3.2-Exp是DeepSeek推出的实验性模型,基于V3.1-Terminus架构,创新引入DeepSeek Sparse Attention稀疏注意力机制,在保持模型输出质量的同时,大幅提升长文本场景下的训练与推理效率。该模型在MMLU-Pro、GPQA-Diamond等多领域公开基准测试中表现与V3.1-Terminus相当,支持HuggingFace、SGLang、vLLM等多种本地运行方式,开源内核设计便于研究,采用MIT许可证。【此简介由AI生成】Python00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0369Hunyuan3D-Part
腾讯混元3D-Part00ops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。C++095AI内容魔方
AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。02Spark-Chemistry-X1-13B
科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile09
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
热门内容推荐
最新内容推荐
项目优选









