Amazon EKS AMI中containerd进程退出事件丢失问题分析

问题背景

在Amazon EKS环境中，用户报告了一个由containerd运行时引起的严重问题。该问题表现为containerd在某些情况下会丢失对容器状态的跟踪，导致容器管理功能异常。具体症状包括无法在容器内执行命令，并出现"OCI runtime exec failed"等错误信息。

问题表现

受影响的系统会显示以下典型错误日志：

OCI runtime exec failed: exec failed: unable to start container process: error executing setns process: exit status 1: unknown

或者

OCI runtime exec failed: exec failed: cannot exec in a stopped container: unknown

这些错误表明containerd运行时无法正确识别容器的运行状态，导致后续操作失败。

问题根源

经过分析，这个问题是由containerd的一个代码变更引入的。具体来说，containerd在1.7.14版本中引入了一个修改，影响了进程退出事件的处理机制。在某些情况下，事件可能会被丢弃，导致containerd无法正确跟踪容器的状态变化。

该问题影响了以下版本的Amazon Linux AMI：

• Amazon Linux 2023：v20240807及更高版本
• Amazon Linux 2：v20240817及更高版本

临时解决方案

在等待上游containerd修复的同时，Amazon EKS团队建议用户采取以下临时解决方案：

对于Amazon Linux 2系统：

yum versionlock delete containerd
yum downgrade -y containerd-1.7.11
yum versionlock containerd

对于Amazon Linux 2023系统：

dnf downgrade -y containerd-1.7.11

问题修复

containerd上游社区已经针对此问题开发了修复方案，并在1.7.22版本中发布了修复。Amazon EKS团队已经将AMI中的containerd更新至1.7.22版本，彻底解决了这个问题。

总结

容器运行时状态跟踪是Kubernetes集群稳定运行的基础。containerd作为重要的容器运行时组件，其稳定性直接影响整个集群的运行状态。这个问题提醒我们，在升级关键组件时需要谨慎评估变更可能带来的影响，并准备好回滚方案。同时，也展示了开源社区协作解决问题的高效性，从问题发现到修复发布整个过程体现了开源生态的优势。

对于使用Amazon EKS的用户，建议定期检查并更新AMI版本，以确保获得最新的安全补丁和错误修复。对于生产环境，建议在升级前先在测试环境中验证新版本的稳定性。