Amazon EKS AMI 中 pause 镜像被错误垃圾回收导致 Pod 无法运行问题分析

问题现象

在使用 Amazon EKS 1.29 版本时，部分节点突然无法创建新的 Pod，错误信息显示无法拉取 pause 容器镜像。具体表现为 kubelet 日志中出现类似以下错误：

Failed to create pod sandbox: rpc error: code = Unknown desc = failed to get sandbox image "602401143452.dkr.ecr.ca-central-1.amazonaws.com/eks/pause:3.5"

问题根源

经过深入分析，发现问题的根本原因是 Kubernetes 1.29 版本引入的镜像垃圾回收机制存在问题，导致关键的 pause 镜像被错误地清理。pause 镜像是 Kubernetes 中每个 Pod 的基础容器，负责维护 Pod 的命名空间和网络栈，其被删除会直接影响 Pod 的创建能力。

技术背景

在 Kubernetes 架构中：

1. 每个 Pod 启动时都会先创建 pause 容器
2. pause 容器为 Pod 提供共享的 Linux 命名空间
3. 其他业务容器会加入到 pause 容器的命名空间中

当 pause 镜像缺失时，整个 Pod 创建流程就会失败。正常情况下，pause 镜像应该被标记为"pinned"(固定)，避免被垃圾回收机制清理。

问题详细分析

通过检查节点日志，发现以下关键线索：

1. 磁盘使用率触发了镜像垃圾回收机制：

Disk usage on image filesystem is over the high threshold

2. 垃圾回收错误地清理了 pause 镜像：

ImageDelete event name:"602401143452.dkr.ecr.ca-central-1.amazonaws.com/eks/pause:3.5"

3. 问题主要出现在以下场景：

• 使用 EKS 1.29 版本
• 影响 AL2、AL2023 和 Ubuntu EKS 等多种 AMI
• 随机影响节点，无明确规律

解决方案

对于不同操作系统 AMI，解决方案有所差异：

Amazon Linux 2 (AL2)

该问题已在 AL2 的最新 AMI 中得到修复。建议用户升级到包含修复的 AMI 版本。

Amazon Linux 2023 (AL2023)

在正常配置的 AL2023 节点上，pause 镜像应显示为 pinned 状态：

{
  "status": {
    "pinned": true
  }
}

如果确认是 pinned 状态但仍出现问题，建议报告详细情况。

Ubuntu EKS AMI

目前发现 Ubuntu 的 EKS AMI 中 pause 镜像未被正确标记为 pinned。临时解决方案包括：

1. 手动拉取 pause 镜像并标记为 pinned
2. 调整 containerd 配置确保 pause 镜像不被清理
3. 监控磁盘使用情况，避免触发垃圾回收

最佳实践建议

1. 监控磁盘空间：确保节点有足够的磁盘空间，避免频繁触发垃圾回收
2. 版本升级：及时升级到包含修复的 AMI 版本
3. 资源规划：合理规划节点资源，特别是对于运行关键工作负载的节点
4. 镜像缓存策略：对于关键基础镜像，考虑使用本地缓存或私有仓库

总结

Kubernetes 1.29 版本的镜像垃圾回收机制在处理 pause 镜像时存在缺陷，导致节点无法创建新 Pod。这个问题凸显了基础设施组件稳定性的重要性。用户应当关注官方更新，及时应用修复，同时建立完善的监控机制，确保集群稳定性。

对于使用不同操作系统 AMI 的用户，应采取针对性的解决方案，并在设计系统时考虑关键组件的容错能力。随着 Kubernetes 的持续发展，类似的基础设施层问题可能会不时出现，保持系统可观测性和快速响应能力是运维的关键。