解决k3s中NVIDIA设备插件与containerd配置不一致问题

问题背景

在使用k3s集群部署NVIDIA设备插件时，特别是启用MPS模式后，用户可能会遇到一个常见问题：当执行systemctl daemon-reload命令时，Pod会意外失去对GPU的访问权限。这源于NVIDIA容器工具包中的一个已知问题，其解决方案之一需要修改containerd的SystemdCgroup配置。

问题分析

k3s作为轻量级Kubernetes发行版，其containerd配置方式与标准Kubernetes有所不同。k3s不使用常规的/etc/containerd/config.toml文件，而是通过模板文件config.toml.tmpl来生成运行时配置。

当用户检查crictl info输出时，可能会发现NVIDIA运行时的SystemdCgroup设置与手动修改的containerd配置不一致。这是因为k3s有自己的配置生成机制，直接修改config.toml不会生效。

解决方案

要正确修改k3s中NVIDIA运行时的SystemdCgroup设置，需要遵循以下步骤：

1. 创建或编辑/var/lib/rancher/k3s/agent/etc/containerd/config.toml.tmpl文件
2. 基于k3s的默认模板进行修改
3. 特别关注NVIDIA运行时配置部分

正确的配置模板应包含以下关键部分：

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes."nvidia"]
  runtime_type = "io.containerd.runc.v2"

[plugins."io.containerd.grpc.v1.cri".containerd.runtimes."nvidia".options]
  BinaryName = "/usr/local/nvidia/toolkit/nvidia-container-runtime"
  SystemdCgroup = false

实施步骤

1. 获取k3s的默认containerd配置模板
2. 在模板中定位到NVIDIA运行时配置部分
3. 将SystemdCgroup参数从{{ $.SystemdCgroup }}修改为false
4. 保存模板文件
5. 重启k3s服务使配置生效

注意事项

• 修改配置后必须重启k3s服务才能使更改生效
• 使用crictl info命令可以验证配置是否已正确应用
• 此解决方案专门针对NVIDIA设备插件与MPS模式配合使用时的特殊情况
• 在大多数情况下，k3s自动设置的SystemdCgroup值是最佳选择，不应随意修改

技术原理

k3s通过模板引擎动态生成containerd配置文件，这种方式提供了更大的灵活性，但也意味着常规的配置修改方法可能不适用。理解k3s的配置生成机制对于正确调整运行时参数至关重要。

在NVIDIA设备插件的上下文中，SystemdCgroup设置影响设备资源的cgroup管理方式。将其设置为false可以解决某些特定场景下的设备访问问题，但可能会影响系统服务的资源隔离能力。