Azure AKS中NVIDIA A10 GPU GRID驱动许可问题的分析与解决方案

问题背景

在Azure Kubernetes服务(AKS)环境中，使用NVIDIA A10系列GPU的虚拟机节点出现了一个与GRID驱动许可相关的问题。这一问题主要影响运行在Ubuntu操作系统上的节点，特别是安装了550版本GRID驱动的情况。

问题现象

当AKS节点使用特定的Ubuntu节点镜像版本(20250226和20250302)时，系统会安装550.X版本的GRID GPU驱动。该版本驱动安装过程中缺少了关键的nvidia-gridd systemd服务单元，导致基于A10 GPU的节点池上的工作负载可能出现故障。

影响范围

此问题仅影响以下特定配置：

• 使用NVIDIA A10系列GPU的Azure虚拟机
• 运行Ubuntu操作系统的AKS节点
• 安装了550.X版本GRID驱动的环境

值得注意的是，以下配置不受此问题影响：

• 使用NVIDIA CUDA驱动的环境
• Azure Linux和Windows节点

解决方案

AKS团队已经发布了Ubuntu节点镜像更新来解决此问题。用户可以通过以下两种方式之一进行修复：

1. 立即升级Ubuntu节点镜像版本至包含修复的版本。此更新已于2025年3月21日开始在全球各Azure区域逐步推出。

2. 等待自动更新。AKS将在2025年3月发布的Ubuntu节点镜像版本20250317中默认包含修复后的GRID驱动。

技术细节

GRID驱动是NVIDIA为虚拟化环境提供的GPU解决方案，包含许可管理功能。nvidia-gridd服务负责管理与验证GRID许可证状态。当该服务缺失时，GPU功能可能无法正常工作，导致依赖GPU的工作负载失败。

AKS团队通过回退到稳定的GRID驱动版本解决了此问题，确保了许可证管理功能的完整性。

最佳实践

对于使用GPU的AKS集群，建议用户：

1. 定期检查节点镜像版本，及时应用安全更新
2. 在升级前验证新版本是否解决了已知问题
3. 为关键工作负载建立监控机制，及时发现GPU相关问题
4. 保持与AKS发布跟踪信息的同步，了解最新的修复和更新

总结

AKS团队已快速响应并解决了NVIDIA A10 GPU GRID驱动许可问题。用户只需按照建议升级节点镜像版本即可恢复正常功能。这一事件也提醒我们，在使用GPU加速的计算环境时，驱动版本管理和许可证验证都是需要特别关注的环节。