NVIDIA GPU Operator运行异常问题排查与解决指南

问题背景

在基于Ubuntu 22.04.2的Kubernetes集群环境中，使用NVIDIA GPU Operator管理GPU资源时，某节点在维护重启后出现异常。该节点虽然显示NVIDIA驱动已加载（版本535.104.12），但无法正常调度GPU工作负载，报错"Failed to allocate device vector A (error code unknown error)"。

现象分析

通过系统检查发现以下异常现象：

1. nvidia-smi命令可以正常执行，显示驱动版本信息
2. lsmod显示部分NVIDIA内核模块已加载（nvidia_drm/nvidia_modeset/nvidia）
3. 但modprobe命令无法找到这些模块
4. 系统日志显示模块加载失败记录

根本原因

该问题是由于NVIDIA驱动处于"部分加载"的不一致状态导致的。虽然部分模块已加载到内核，但对应的内核模块文件在/lib/modules目录下缺失或损坏。这种状态通常发生在：

• 内核升级后未重新构建驱动模块
• 驱动安装过程中被中断
• 系统异常关机导致模块注册不完整

解决方案

执行以下修复步骤：

1. 重新配置DKMS模块

dpkg-reconfigure nvidia-dkms-535

2. 强制重建内核模块

dkms rebuild nvidia/535.104.12 -k $(uname -r)

3. 重新加载所有NVIDIA模块

modprobe -r nvidia_drm nvidia_modeset nvidia nvidia_uvm
modprobe nvidia nvidia_uvm nvidia_modeset nvidia_drm

预防措施

为避免类似问题再次发生，建议：

1. 在系统内核升级后，立即执行NVIDIA驱动重建
2. 使用systemd服务确保驱动模块正确加载
3. 定期检查驱动与内核版本兼容性
4. 维护前后验证模块完整性

技术启示

该案例展示了Linux内核模块管理的一个典型问题：模块可以动态加载到运行中的内核，但其持久化依赖文件系统上的模块文件。当两者不一致时，就会出现这种"幽灵模块"现象。在GPU计算环境中，这种不一致性会导致CUDA运行时无法正确初始化设备内存。

对于生产环境，建议建立驱动健康检查机制，包括：

• 模块文件与加载模块的版本校验
• 关键功能测试（如设备内存分配）
• 启动顺序监控（确保依赖模块按序加载）