NVIDIA Container Toolkit在Ubuntu 22.04上的cgroup v2兼容性问题分析

问题背景

在使用NVIDIA Container Toolkit时，部分Ubuntu 22.04用户可能会遇到一个特定的错误，表现为无法在容器中运行nvidia-smi命令。错误信息中会显示"last insn is not an exit or jmp"等与eBPF程序相关的错误提示。

技术分析

这个问题主要与Linux内核的cgroup v2实现和eBPF程序加载机制有关。当系统使用cgroup v2时，NVIDIA Container Toolkit会尝试更新cgroupv2的eBPF程序来控制设备访问权限。错误表明内核拒绝了加载这个eBPF程序，因为程序不符合验证器的要求。

根本原因

经过分析，这个问题可能由以下几个因素导致：

1. 内核版本与eBPF验证器的兼容性问题
2. 特定GPU型号与驱动版本的组合问题
3. 系统配置差异（如cgroup配置）

解决方案

NVIDIA官方提供了几种解决方案：

方案一：使用CDI（Container Device Interface）模式

1. 启用CDI支持：

sudo nvidia-ctk runtime configure --runtime docker --cdi.enabled
sudo systemctl restart docker

2. 生成CDI设备描述文件：

sudo nvidia-ctk cdi generate --output /var/run/cdi/nvidia.yaml

3. 运行容器时使用CDI设备：

docker run --device=nvidia.com/gpu=all ubuntu nvidia-smi

方案二：升级到NVIDIA Container Toolkit v1.15.0-rc.4或更高版本

新版本提供了实验性的自动CDI运行时模式，可以通过以下命令使用：

docker run --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=runtime.nvidia.com/gpu=all ubuntu nvidia-smi

注意事项

1. CDI描述文件需要在系统启动或驱动配置变更后重新生成
2. 不同版本的Docker对CDI的支持程度不同，Docker 25及以上版本原生支持CDI
3. 使用CDI模式时，设备注入方式与传统模式不同，需要注意命令格式

总结

这个问题展示了cgroup v2与设备访问控制在容器环境中的复杂性。通过采用CDI这种更现代的容器设备管理方式，不仅可以解决当前的兼容性问题，还能获得更好的设备管理能力。对于Ubuntu 22.04用户，推荐优先考虑使用CDI方案。