Amazon EKS AMI中GPU节点驱动安装问题的技术分析

问题背景

在使用Amazon EKS服务时，用户发现当从Kubernetes 1.25升级到1.28版本时，GPU节点上的NVIDIA驱动无法正常安装。这一问题特别出现在使用aws-eks-gpu-node-1.28 AMI镜像时，而使用1.25版本的AMI则能正常工作。

问题现象

当使用1.28版本的AMI启动GPU节点后，执行nvidia-smi命令会显示"NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver"错误。通过检查系统日志发现，configure-nvidia.service服务启动失败，原因是无法连接到169.254.169.254（AWS实例元数据服务）的80端口。

根本原因分析

通过对比1.25和1.28两个版本的AMI配置，发现关键差异在于systemd服务单元文件的配置：

1. 1.25版本的服务配置中明确指定了网络依赖关系：

   After=network-online.target
   Wants=network-online.target
   

   这确保了服务在网络完全就绪后才会启动。

2. 1.28版本的服务配置中移除了这些网络依赖项，导致服务在网络尚未就绪时就尝试访问实例元数据服务，从而失败。

技术细节

在AWS环境中，169.254.169.254是实例元数据服务的专用IP地址。该服务提供了关于EC2实例的重要信息，包括实例类型、AMI ID等。GPU驱动安装脚本需要查询这些信息来确定正确的驱动版本和配置。

当服务在网络未就绪时尝试访问该端点，会导致连接失败，进而使整个驱动安装过程失败。这是一个典型的"启动顺序"问题，在系统服务配置中很常见。

解决方案

AWS团队已经在新版本中修复了这个问题。修复方式是在服务配置中重新添加网络依赖关系，确保服务在网络完全就绪后才执行。

对于遇到此问题的用户，可以采取以下临时解决方案：

1. 手动修改/etc/systemd/system/configure-nvidia.service文件，添加网络依赖项
2. 执行systemctl daemon-reload重新加载服务配置
3. 重启服务systemctl restart configure-nvidia.service

最佳实践建议

1. 在升级Kubernetes版本时，建议先在测试环境验证所有节点功能
2. 对于GPU节点，升级后应立即验证nvidia-smi命令是否正常工作
3. 关注AWS官方发布说明，了解已知问题和修复情况
4. 考虑使用自动化工具监控节点健康状态，包括GPU驱动状态

总结

这个问题展示了系统服务启动顺序的重要性，特别是在云环境中，许多服务都依赖于网络和元数据服务。AWS EKS团队通过修复服务依赖关系解决了这个问题，确保了GPU节点能够正确安装和配置NVIDIA驱动。对于用户来说，理解这类问题的根本原因有助于更快地诊断和解决类似问题。