NVIDIA k8s-device-plugin 在Ubuntu 20.04中的GPU资源调度问题解析

问题背景

在使用NVIDIA k8s-device-plugin部署Kubernetes集群时，用户遇到了GPU资源调度的问题。具体表现为在Ubuntu 20.04系统中，虽然主机已安装NVIDIA 545驱动和CUDA 12.3，但容器内仍提示CUDA驱动版本不兼容的错误。

环境配置分析

用户的环境配置如下：

• 操作系统：Ubuntu 20.04 LTS
• GPU型号：NVIDIA RTX 3070 Ti
• 驱动程序版本：545
• CUDA版本：12.3
• 容器运行时：Docker（默认配置为nvidia运行时）

问题排查过程

初始错误现象

当用户尝试部署包含GPU资源的Pod时，容器启动失败并报错，提示CUDA驱动版本与运行时版本不匹配。错误信息表明容器内检测到的CUDA运行时版本为1.14.4，而主机安装的是CUDA 12.3。

配置调整尝试

用户首先尝试修改/etc/nvidia-container-runtime/config.toml文件，添加了disable-require = true配置项，期望绕过版本检查，但问题依旧存在。

深入诊断

通过执行nvidia-smi命令在容器内验证GPU访问能力，发现虽然Docker直接运行时可以正常访问GPU，但在Kubernetes环境下却无法正常工作。这表明问题可能出在Kubernetes与容器运行时的集成层面。

根本原因

经过深入分析，发现问题根源在于Kubernetes集群使用了containerd作为容器运行时，而NVIDIA容器运行时并未正确配置在containerd中。虽然Docker本身配置了nvidia作为默认运行时，但Kubernetes并未通过Docker而是直接使用了containerd来管理容器。

解决方案

有两种可行的解决方案：

方案一：配置containerd使用NVIDIA运行时

1. 执行配置命令：

sudo nvidia-ctk runtime configure --runtime=containerd --set-as-default
sudo systemctl restart containerd

2. 重启NVIDIA设备插件

方案二：改用cri-dockerd作为容器运行时

用户最终选择了此方案，步骤如下：

1. 安装cri-dockerd
2. 重新配置Kubernetes使用cri-dockerd作为容器运行时
3. 重启Kubernetes组件

经验总结

1. Kubernetes环境下GPU资源调度需要特别注意容器运行时的配置
2. 即使Docker配置了nvidia运行时，Kubernetes也可能使用其他运行时（如containerd）
3. 在containerd环境下，必须显式配置NVIDIA容器运行时
4. 使用nvidia-smi命令是验证GPU访问能力的有效手段
5. 设备插件的日志对于诊断问题非常重要

最佳实践建议

1. 在部署Kubernetes GPU集群前，明确规划好容器运行时的选择
2. 对于生产环境，建议使用containerd并正确配置NVIDIA运行时
3. 开发环境可以考虑使用cri-dockerd简化配置
4. 定期检查设备插件日志，确保GPU资源被正确识别和上报
5. 使用nvidia-ctk工具验证运行时配置是否正确

通过以上分析和解决方案，用户成功解决了GPU资源在Kubernetes集群中的调度问题，为后续的AI/ML工作负载提供了可靠的GPU计算能力支持。