NVIDIA k8s-device-plugin 0.15.0-rc.2版本安装问题分析与解决方案

问题背景

在使用Kubernetes集群部署NVIDIA设备插件时，用户遇到了一个典型问题：在Ubuntu 22.04.4 LTS系统上，使用Kubernetes v1.28.6版本部署NVIDIA k8s-device-plugin的0.15.0-rc.2版本时，DaemonSet无法正常调度Pod到节点上，而回退到0.14.5版本则可以正常工作。

问题现象分析

当用户尝试部署0.15.0-rc.2版本时，发现两个DaemonSet（nvdp-nvidia-device-plugin和nvdp-nvidia-device-plugin-mps-control-daemon）的"Desired Number of Nodes Scheduled"和"Current Number of Nodes Scheduled"均为0，这意味着没有任何Pod被调度到节点上运行。

相比之下，0.14.5版本能够正常调度Pod到所有16个节点上。通过对比两个版本的DaemonSet描述信息，可以发现关键差异在于节点选择器的配置。

根本原因

经过深入分析，发现问题根源在于0.15.0-rc.2版本引入了更严格的节点选择条件。新版本默认要求节点必须具有"nvidia.com/gpu.present=true"标签才会被调度，而用户的节点虽然确实配备了NVIDIA GPU，但并未设置这一特定标签。

这种设计变更反映了NVIDIA设备插件项目在版本演进过程中对部署规范性的要求提高。通过显式要求节点标记，可以确保插件只部署在确实配置了NVIDIA GPU的节点上，避免在不必要的节点上运行资源消耗。

解决方案

解决此问题的方法非常简单：为所有配备NVIDIA GPU的节点添加所需的标签。可以使用以下命令批量操作：

for i in $(seq 1 16); do
  kubectl label node node${i} nvidia.com/gpu.present=true
done

这一操作明确告知Kubernetes调度器哪些节点具备NVIDIA GPU能力，使得设备插件能够正确识别并部署到这些节点上。

版本差异的技术考量

从技术架构角度看，0.15.0-rc.2版本相比0.14.5版本有几个重要改进：

1. 更精确的资源定位：通过强制要求节点标签，确保插件只部署在真正需要的节点上
2. MPS支持：新版本增加了对Multi-Process Service的支持，提供了mps-control-daemon组件
3. 环境变量扩展：新增了NVIDIA_VISIBLE_DEVICES和NVIDIA_DRIVER_CAPABILITIES等环境变量配置
4. CDI支持：增加了对Container Device Interface的挂载点支持

这些改进使得新版本在功能性和可靠性方面都有显著提升，但也带来了配置要求的变化。

最佳实践建议

基于这一案例，我们建议在部署NVIDIA设备插件时注意以下几点：

1. 版本升级前检查变更日志：了解新版本的特性和配置要求变化
2. 统一节点标签规范：建立明确的节点标签策略，特别是对于异构计算资源
3. 分阶段部署：在生产环境中先小范围验证新版本，确认无误后再全面升级
4. 文档参考：仔细阅读对应版本的部署文档，了解新增的配置选项

通过遵循这些实践，可以确保NVIDIA设备插件的平滑升级和稳定运行，为GPU加速的工作负载提供可靠的基础设施支持。