NVIDIA k8s-device-plugin中实现GPU共享与独占的混合部署策略

在Kubernetes集群中管理GPU资源时，我们经常需要同时支持两种使用模式：独占式GPU访问和共享式GPU访问。NVIDIA k8s-device-plugin项目通过多进程服务(MPS)机制实现了这一需求，本文将详细介绍如何在同一集群中配置混合部署策略。

核心概念解析

**MPS(多进程服务)**是NVIDIA提供的一种GPU资源共享机制，它允许多个CUDA进程同时共享单个物理GPU的计算资源。与传统的独占模式相比，MPS能够显著提高GPU利用率，特别适合推理服务等计算密集型但资源需求不饱和的场景。

混合部署架构设计

要实现混合部署，我们需要理解三个关键组件：

1. 默认配置：不启用任何共享策略，提供独占式GPU访问
2. MPS配置：定义GPU资源的共享比例和命名规则
3. 节点标签：通过标签系统控制配置的应用范围

具体实施步骤

1. 初始集群准备

首先确保集群中包含两类GPU节点：

• 标准GPU节点（如配备T4/Tesla等计算卡）
• 已正确安装NVIDIA驱动和CUDA工具包

2. Helm配置定制

通过Helm chart部署时需要特别注意以下配置项：

devicePlugin:
  config:
    name: device-plugin-config
    create: true
    default: default
    data:
      default: |-
        version: v1
        flags:
          migStrategy: none
      mps-config: |-
        version: v1
        sharing:
          mps:
            renameByDefault: true
            resources:
            - name: nvidia.com/gpu
              replicas: 4

关键参数说明：

• renameByDefault：是否自动转换资源名称
• replicas：单个物理GPU虚拟化的数量
• migStrategy：MIG分区策略（本例禁用）

3. 节点标签管理

通过kubectl为特定节点添加标签：

kubectl label node <node-name> nvidia.com/device-plugin.config=mps-config

该标签会触发以下变化：

1. 自动部署MPS控制守护进程
2. 更新节点GPU资源标签
3. 启用虚拟GPU资源分配

4. 工作负载调度

应用部署时需明确资源需求：

独占GPU模式：

resources:
  limits:
    nvidia.com/gpu: 1

共享GPU模式：

resources:
  limits:
    nvidia.com/gpu.shared: 1

常见问题解决方案

1. CDI冲突问题： 当出现CDI设备注入失败时，建议在GPU Operator中禁用CDI功能：

cdi:
  enabled: false

2. 资源分配异常： 检查节点标签系统是否完整包含：

• nvidia.com/gpu.replicas
• nvidia.com/gpu.sharing-strategy
• nvidia.com/mps.capable

3. 调度失败处理： 确保Pod规范中包含正确的运行时配置：

runtimeClassName: nvidia

最佳实践建议

1. 生产环境中建议为共享GPU节点设置专属污点(Taint)，防止普通工作负载误调度
2. 监控GPU显存使用情况，合理设置replicas数量避免OOM
3. 考虑使用节点亲和性规则优化工作负载分布
4. 定期检查MPS守护进程状态，确保资源共享稳定性

通过这种混合部署策略，用户可以灵活应对不同业务场景的需求，既保证了关键业务的全量GPU性能，又提高了普通业务的资源利用率，实现了GPU资源的价值最大化。