Amazon EKS AMI中AL2内核版本导致cgroup/blkio指标丢失问题分析

问题背景

在Amazon EKS环境中，使用Amazon Linux 2(AL2)作为节点操作系统时，部分用户发现当内核版本升级到5.10.236-227.928.amzn2.x86_64及更高版本后，容器文件系统I/O监控指标(container_fs_*)全部显示为0。这些指标对于监控容器磁盘I/O性能至关重要，直接影响用户对容器工作负载的性能分析和故障排查能力。

问题现象

受影响的AL2 AMI版本包括：

• v20250501
• v20250505
• v20250519

在这些版本中，通过cAdvisor获取的容器磁盘I/O指标如container_fs_reads_total等全部显示为0值。通过直接检查cgroup文件系统，可以确认在受影响的版本中，/sys/fs/cgroup/blkio/blkio.throttle.io_serviced文件中的统计信息也全部为0。

技术分析

这个问题源于AL2 5.10内核版本中的一个bug。在Linux系统中，cgroup的blkio子系统负责收集块设备I/O统计信息，这些信息被容器监控工具如cAdvisor用来提供容器级别的磁盘I/O指标。

在正常工作的内核版本(如5.10.235-227.919.amzn2.x86_64)中，系统会正确收集和展示这些统计信息。而在有问题的内核版本中，虽然cgroup的blkio子系统仍然存在，但无法正确收集和展示I/O统计信息。

影响范围

该问题主要影响：

1. 使用AL2作为节点操作系统的EKS集群
2. 内核版本为5.10.236-227.928.amzn2.x86_64及更高版本
3. 依赖cAdvisor容器磁盘I/O指标进行监控和告警的系统

解决方案

Amazon Linux团队已经确认该问题，并在后续的AL2 5.10内核版本中修复了此问题。用户可以通过以下方式解决：

1. 等待节点自动升级到包含修复的内核版本
2. 手动将节点替换为使用已修复内核版本的AMI
3. 对于关键业务系统，可考虑临时回退到已知正常工作的内核版本

最佳实践建议

对于生产环境中的EKS集群，建议：

1. 在升级内核版本前，先在测试环境中验证关键监控指标是否正常
2. 建立多维度监控，不仅依赖cAdvisor提供的容器磁盘I/O指标
3. 关注Amazon Linux的安全公告和更新日志，及时了解已知问题和修复情况
4. 对于关键业务系统，考虑实施渐进式升级策略，避免大规模同时升级

总结

内核级别的bug可能会影响监控系统的正常工作，这次AL2内核版本导致的cgroup/blkio指标丢失问题提醒我们，在容器化环境中，底层系统的稳定性同样重要。Amazon Linux团队已经快速响应并修复了此问题，体现了其对EKS生态系统的持续投入和支持。