Harvester项目中的AirGap升级与Fluentbit/FluentD兼容性问题解析

问题背景

在Harvester v1.4.2版本中，用户在进行AirGap环境下的集群升级时，可能会遇到一个与日志收集组件相关的问题。具体表现为当从v1.4.2版本升级到v1.5.0或v1.4.3版本时，Fluentd和FluentBit Pods会陷入ImagePullBackOff状态，导致升级流程受阻。

技术分析

这个问题源于Harvester内部日志收集系统的配置机制。Harvester使用两种不同的Logging对象来管理日志收集：

1. Operator Logging对象：负责管理基础日志收集组件的配置
2. Infra Logging对象：专门用于基础设施组件的日志收集

在升级过程中，系统未能正确同步这两个Logging对象中的镜像仓库配置，导致Infra Logging对象中的Fluentd和FluentBit组件尝试从错误的镜像仓库拉取镜像。

影响范围

该问题主要影响以下升级路径：

• 从v1.4.2升级到v1.5.0
• 从v1.4.2升级到v1.4.3

解决方案

Harvester团队已经通过代码修复解决了这个问题：

1. 在v1.5.0版本中，通过修改升级逻辑确保Logging对象的镜像配置正确同步
2. 在即将发布的v1.4.3版本中，也包含了相应的修复补丁

对于已经遇到此问题的用户，可以采用以下临时解决方案：

# 获取Logging对象名称
OPERATOR_LOGGING_NAME=$(kubectl get logging -l app.kubernetes.io/name=rancher-logging -o json | jq -r '.items[0].metadata.name')
INFRA_LOGGING_NAME=$(kubectl get logging -l harvesterhci.io/upgradeLogComponent=infra -o json | jq -r '.items[0].metadata.name')

# 从Operator Logging对象中提取镜像信息
FLUENTBIT_IMAGE_REPO=$(kubectl get logging $OPERATOR_LOGGING_NAME -o json | jq  -r '.spec.fluentbit.image.repository')
FLUENTBIT_IMAGE_TAG=$(kubectl get logging $OPERATOR_LOGGING_NAME -o json | jq  -r '.spec.fluentbit.image.tag')

FLUENTD_IMAGE_REPO=$(kubectl get logging $OPERATOR_LOGGING_NAME -o json | jq  -r '.spec.fluentd.image.repository')
FLUENTD_IMAGE_TAG=$(kubectl get logging $OPERATOR_LOGGING_NAME -o json | jq  -r '.spec.fluentd.image.tag')

CONFIG_RELOADER_IMAGE_REPO=$(kubectl get logging $OPERATOR_LOGGING_NAME -o json | jq  -r '.spec.fluentd.configReloaderImage.repository')
CONFIG_RELOADER_IMAGE_TAG=$(kubectl get logging $OPERATOR_LOGGING_NAME -o json | jq  -r '.spec.fluentd.configReloaderImage.tag')

# 修补Infra Logging对象
kubectl patch logging $INFRA_LOGGING_NAME --type=json -p "[{\"op\":\"add\",\"path\":\"/spec/fluentbit/image\",\"value\":{\"repository\":\"$FLUENTBIT_IMAGE_REPO\",\"tag\":\"$FLUENTBIT_IMAGE_TAG\"}}]"
kubectl patch logging $INFRA_LOGGING_NAME --type=json -p "[{\"op\":\"add\",\"path\":\"/spec/fluentd/image\",\"value\":{\"repository\":\"$FLUENTD_IMAGE_REPO\",\"tag\":\"$FLUENTD_IMAGE_TAG\"}}]"
kubectl patch logging $INFRA_LOGGING_NAME --type=json -p "[{\"op\":\"add\",\"path\":\"/spec/fluentd/configReloaderImage\",\"value\":{\"repository\":\"$CONFIG_RELOADER_IMAGE_REPO\",\"tag\":\"$CONFIG_RELOADER_IMAGE_TAG\"}}]"

# 强制重启fluentd pod
kubectl delete pods -n harvester-system -l app.kubernetes.io/component=fluentd

最佳实践建议

1. 对于计划从v1.4.2升级的用户，建议直接升级到v1.4.3或更高版本
2. 在AirGap环境中进行升级前，确保所有必要的镜像已经预先下载到本地镜像仓库
3. 升级过程中密切监控日志收集组件的状态，及时发现并处理类似问题

总结

Harvester团队已经认识到并修复了这个在AirGap环境下升级时出现的日志组件兼容性问题。通过版本更新和提供临时解决方案，确保了用户能够顺利完成升级流程。随着v1.4.3和v1.5.0版本的发布，这个问题将得到彻底解决。