Amazon EKS AMI 1.30.6版本中容器运行时配置问题分析

在Amazon EKS AMI 1.30.6版本中，用户报告了一个关于容器运行时配置的重要问题。这个问题会导致新创建的Kubernetes节点无法正常启动，核心表现为容器运行时无法拉取pause镜像。

问题现象

当使用Karpenter创建新节点时，节点启动失败并出现以下错误日志：

Failed to create pod sandbox: rpc error: code = Unknown desc = failed to get sandbox image "localhost/kubernetes/pause"

错误表明containerd运行时尝试从本地地址(localhost)拉取pause镜像失败，而实际上这个镜像应该从公共镜像仓库获取。

根本原因

深入分析发现，问题的根源在于containerd的配置文件(/etc/containerd/config.toml)中sandbox_image配置项被错误地设置为：

sandbox_image = "localhost/kubernetes/pause"

而正确的配置应该是：

sandbox_image = "k8s.gcr.io/pause:3.9"

解决方案

要解决此问题，可以采取以下步骤：

1. 通过SSH连接到问题节点
2. 编辑containerd配置文件：

   vi /etc/containerd/config.toml
   

3. 将sandbox_image配置项修改为正确的公共镜像仓库地址
4. 重启containerd服务：

   service containerd restart
   

5. 手动拉取pause镜像：

   ctr images pull k8s.gcr.io/pause:3.9
   

问题背景与深入分析

这个问题实际上反映了容器运行时配置管理的一个重要方面。pause容器是Kubernetes集群中的基础组件，它为每个Pod提供基础设施命名空间。在较新版本的EKS AMI中，开发团队正在尝试减少对ECR的硬依赖，以提高系统的可靠性和启动速度。

值得注意的是，在用户案例中，这个问题只出现在使用自定义NVMe挂载脚本的节点上。这是因为用户的脚本在挂载/var/lib/containerd目录时没有正确处理已有内容，导致containerd配置被重置为默认值。

最佳实践建议

1. 对于使用实例存储(NVMe)的节点，建议利用EKS AMI内置的实例存储挂载功能，而不是完全自定义脚本
2. 在修改容器运行时配置前，应该备份原有配置
3. 对于生产环境，考虑使用配置管理工具确保所有节点的运行时配置一致性
4. 定期检查节点上的容器运行时配置，特别是在AMI版本升级后

这个问题也提醒我们，在自定义节点初始化流程时需要特别注意对系统关键目录和配置的影响，特别是在涉及存储挂载等底层操作时。