Amazon EKS AMI 中沙箱容器镜像拉取失败问题分析

问题背景

在使用 Amazon EKS AMI (amazon-eks-node-1.30-v20241109) 时，部分节点出现了沙箱容器镜像拉取失败的问题。具体表现为节点无法创建 Pod 沙箱环境，错误信息显示无法从 ECR 仓库拉取 pause 镜像（602401143452.dkr.ecr.eu-central-1.amazonaws.com/eks/pause:3.5），提示授权失败。

技术分析

根本原因

该问题的核心在于容器运行时（containerd）尝试直接拉取 ECR 中的 pause 镜像时，缺乏必要的 ECR 认证凭据。正常情况下，Amazon EKS AMI 通过专门的 systemd 服务（sandbox-image）来预先拉取这个镜像，该服务会使用正确的 ECR 认证机制。

可能触发场景

1. systemd 服务失败：sandbox-image 服务可能未能成功执行，导致镜像未被预先拉取
2. 镜像被意外删除：如果节点上的 pause 镜像被垃圾回收机制清理，而 containerd 又无法重新拉取
3. 网络或权限问题：临时性的网络问题或 IAM 角色权限变更可能导致拉取失败

解决方案

对于遇到此问题的用户，可以采取以下临时解决方案：

1. 检查 sandbox-image 服务日志：

   journalctl -u sandbox-image
   

2. 手动修改 containerd 配置，使用公开可访问的镜像源：

   [plugins."io.containerd.grpc.v1.cri"]
   sandbox_image = "public.ecr.aws/eks-distro/kubernetes/pause:v1.29.0-eks-1-29-latest"
   

   然后重启 containerd 服务：

   sudo systemctl restart containerd
   

长期改进

Amazon EKS 团队已经意识到这种对 ECR 的运行时依赖问题，并在 AL2023 AMI 中进行了改进（移除了这一依赖）。预计未来版本会将这一改进扩展到所有 AMI 类型。

最佳实践

1. 定期监控节点上的 pause 镜像状态
2. 确保节点具有正确的 IAM 权限来访问 ECR
3. 考虑使用公开镜像源作为临时解决方案
4. 关注 AMI 更新日志，及时升级到已修复此问题的版本

总结

沙箱容器镜像拉取失败问题虽然不常见，但发生时会影响节点正常运行。理解其背后的机制有助于快速诊断和解决问题。随着 Amazon EKS AMI 的持续改进，这类依赖问题将逐步减少，提升集群的稳定性和可靠性。