AKS节点池中Standard_NC40ads_H100_v5规格启动失败问题深度分析

问题现象

在Azure Kubernetes Service（AKS）环境中，用户创建Standard_NC40ads_H100_v5规格的节点池时，发现虚拟机规模集（VMSS）实例长时间处于"starting"状态，无法正常加入集群。该问题在使用AKSUbuntu-2204gen2containerd-202505.14.0镜像版本时出现，而较早的202505.09.0版本则工作正常。

技术背景

Standard_NC40ads_H100_v5是Azure提供的配备NVIDIA H100 GPU的高性能计算实例规格。这类GPU节点在AKS中的部署有其特殊性：

1. 需要特定的GPU驱动和组件支持
2. 对底层存储配置有特殊要求
3. 通常采用临时OS磁盘（Ephemeral OS Disk）以获得最佳性能

问题排查过程

初步分析

最初怀疑是节点镜像版本问题，因为：

• 旧版本202505.09.0工作正常
• 新版本202505.14.0出现启动失败

但后续测试发现，即使使用相同镜像版本的快照创建新节点池，问题仍然存在，排除了镜像版本作为根本原因的可能性。

存储配置差异

进一步调查发现工作节点池与非工作节点池在存储配置上的关键差异：

virtualMachineProfile.storageProfile.osDisk.diffDiskSettings.placement
- 工作节点池：CacheDisk
- 故障节点池：NvmeDisk

临时OS磁盘的放置位置从CacheDisk变更为NvmeDisk，这可能导致启动问题。但后续测试证明这一假设不完全成立：

1. 其他使用NvmeDisk的规格（如Standard_D8ds_v6）工作正常
2. 强制使用托管磁盘（Managed Disk）后节点最终能够启动

根本原因推测

结合所有测试结果，最可能的原因是：

H100 GPU节点对临时OS磁盘的NvmeDisk放置方式存在兼容性问题，特别是在特定时间点后的平台更新中引入的配置变更导致了这一行为。

解决方案

目前确认有效的解决方法是：

1. 使用托管磁盘：创建节点池时指定--node-osdisk-type Managed参数

   • 注意：启动时间会比临时磁盘长
   • 优点：稳定性有保障

2. 联系Azure支持：如果必须使用临时磁盘，需要提交支持请求，让Azure工程团队调查具体原因

最佳实践建议

对于生产环境中的GPU节点部署：

1. 新节点池部署前，先在测试环境验证
2. 考虑使用节点池快照功能保持配置一致性
3. 对于关键工作负载，建议使用托管磁盘确保稳定性
4. 关注Azure更新日志，特别是GPU相关规格的变更说明

后续进展

Azure团队可能会在后续平台更新中修复此问题。建议用户定期检查AKS发行说明，了解相关修复情况。对于遇到相同问题的用户，可参考本文的解决方案进行临时规避。