Calico 3.29版本升级导致Kubernetes垃圾回收机制失效问题分析

在Kubernetes网络插件Calico从3.28.0升级到3.29.0版本后，用户报告了一个严重问题：当EKS 1.30集群的控制平面重启后，Kubernetes的垃圾回收机制(GC)会完全失效。这个问题不仅影响了命名空间配额的使用统计，还导致已完成的Pod资源无法被及时清理，最终造成集群资源耗尽和调度阻塞。

问题现象

用户升级到Calico 3.29.0后，最初系统运行正常，但在控制平面重启后开始出现以下症状：

1. 命名空间配额使用量持续增长并快速达到上限，导致新Pod无法调度
2. 已完成任务的Job Pod无法被自动清理，造成资源浪费和调度阻塞
3. Kubernetes控制器管理器日志中出现大量GC超时错误

关键错误日志显示控制器管理器无法同步依赖关系图，原因是访问Calico的tier资源时被拒绝：

globalnetworkpolicies.projectcalico.org is forbidden: Operation on Calico tiered policy is forbidden

根本原因分析

经过深入调查，发现问题根源在于Calico 3.29.0引入的权限控制变更。Kubernetes控制器管理器作为系统用户system:kube-controller-manager，默认没有被授予访问Calico tier资源的权限。具体表现为：

1. 控制器管理器需要读取tier资源来构建完整的资源依赖图
2. 由于缺乏权限，GC控制器无法完成初始同步
3. 这导致整个Kubernetes垃圾回收机制陷入停滞状态

临时解决方案

在等待官方修复期间，用户可以采取以下临时解决方案：

1. 回退方案：降级到Calico 3.28.0版本，并删除tier CRD
2. 权限修复方案：手动创建ClusterRole和ClusterRoleBinding，为控制器管理器添加必要的读取权限

权限修复的具体YAML配置如下：

kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: calico-tier-getter
rules:
  - apiGroups: ["projectcalico.org"]
    resources: ["*"]
    verbs: ["get"]

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: calico-tier-getter
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: calico-tier-getter
subjects:
- apiGroup: rbac.authorization.k8s.io
  kind: User
  name: system:kube-controller-manager

影响范围

这个问题不仅影响了Kubernetes原生的垃圾回收机制，还波及到了多个依赖GC功能的系统组件：

1. Kyverno策略引擎的清理控制器
2. 命名空间配额控制器
3. 已完成Job的自动清理功能

官方修复进展

Calico团队已经确认这是一个严重的权限配置遗漏问题，并在后续版本中进行了修复：

1. 主分支已合并修复补丁
2. 修复已反向移植到3.29.x维护分支
3. 新版本将包含完整的RBAC权限配置

最佳实践建议

对于生产环境用户，建议采取以下预防措施：

1. 在升级前充分测试新版本的核心功能
2. 监控控制器管理器的GC同步状态
3. 关注命名空间配额使用情况的异常增长
4. 定期检查已完成但未被清理的Pod资源

这个问题再次提醒我们，网络插件的升级可能对Kubernetes核心功能产生深远影响，需要谨慎对待每一次版本变更。