Amazon EKS GPU节点中libnvidia-container版本回退问题分析

问题背景

在Amazon EKS GPU节点的最新AMI镜像(amazon-eks-gpu-node-1.30-v20250224)中，用户发现GPU工作负载无法正常启动。具体表现为当Pod请求GPU资源时，容器初始化过程中会出现文件挂载冲突的错误提示，导致容器启动失败。经过排查发现，这是由于新版本AMI中意外回退了libnvidia-container工具链的版本所致。

问题现象

当使用最新AMI启动GPU工作负载时，容器运行时报错显示：

nvidia-container-cli: mount error: file creation failed: /run/containerd/io.containerd.runtime.v2.task/.../rootfs/usr/bin/nvidia-smi: file exists

错误表明NVIDIA容器工具在尝试挂载nvidia-smi二进制文件时，发现目标路径已存在同名文件，导致挂载失败。

根本原因分析

通过对比新旧两个AMI版本发现：

1. 版本回退问题：

   • 旧版AMI(v20250212)使用libnvidia-container-tools 1.17.4-1
   • 新版AMI(v20250224)却回退到了libnvidia-container-tools 1.16.1-1

2. 功能差异：

   • 1.16.1版本存在一个已知缺陷，无法正确处理容器镜像中已存在的符号链接文件
   • 该问题在1.16.2版本中通过提交ad1f8c8ac4a31bef69c82958f3a87456ceaa39c8得到修复

3. 软件源变更：

   • 旧版AMI包含专用的nvidia-container-toolkit.repo软件源
   • 新版AMI中该软件源被移除

解决方案

AWS EKS团队迅速响应，发布了修复版本v20250228，该版本中：

1. 将nvidia-container-toolkit恢复至1.17.4-1版本
2. 确保正确处理容器中已存在的nvidia相关文件

最佳实践建议

对于需要在容器中使用GPU的用户，建议：

1. 精简容器镜像：

   • 避免在容器镜像中安装完整的nvidia-driver包
   • 改用更轻量的nvidia-cuda-toolkit等专用包

2. 依赖管理：

   • 容器运行时所需的nvidia工具(nvidia-smi等)会自动由nvidia-container-toolkit挂载
   • 无需在容器镜像中预先安装这些工具

3. 版本监控：

   • 定期检查AMI更新日志
   • 在升级前进行充分测试

总结

此次事件凸显了容器化GPU工作负载管理中的一些关键点：工具链版本兼容性、容器镜像精简原则以及自动化更新的风险控制。AWS EKS团队快速响应并修复问题的做法值得肯定，同时也提醒用户在享受自动化更新便利的同时，需要建立适当的监控和回滚机制。