GPU Manager 项目常见问题解决方案

项目基础介绍

GPU Manager 是一个开源项目，用于在 Kubernetes 集群中管理 NVIDIA GPU 设备。该项目实现了 Kubernetes 的 DevicePlugin 接口，因此与 1.9+ 版本的 Kubernetes 兼容。与 nvidia-docker 和 nvidia-k8s-plugin 的组合解决方案相比，GPU Manager 使用未修改的 native runc，而不使用 NVIDIA 解决方案。此外，它还支持无需部署新组件即可上报指标。

项目主要使用的编程语言是 Go。

新手常见问题及解决步骤

问题一：项目依赖的 CUDA Toolkit 和 Docker 环境配置

问题描述：在构建项目时，可能会遇到 CUDA Toolkit 或 Docker 环境未正确配置的问题。

解决步骤：

1. 确保已经安装了正确版本的 CUDA Toolkit。可以从 NVIDIA 官网下载并安装。
2. 确保已经安装了 Docker 环境，并且 Docker 服务正在运行。
3. 检查 CUDA 和 Docker 的环境变量是否已经添加到系统的 PATH 中。

问题二：Kubernetes 集群中 GPU Manager 的权限配置

问题描述：在 Kubernetes 集群中部署 GPU Manager 时，可能会遇到由于权限不足导致的部署失败。

解决步骤：

1. 使用以下命令创建服务账户和集群角色绑定：

   kubectl create sa gpu-manager -n kube-system
   kubectl create clusterrolebinding gpu-manager-role --clusterrole=cluster-admin --serviceaccount=kube-system:gpu-manager
   

2. 确保所有的节点都被正确标记，允许 GPU Manager 在其上运行：

   kubectl label node <node> nvidia-device-enable=enable
   

问题三：Pod 模板中的 GPU 资源描述错误

问题描述：在创建 Pod 时，可能会由于对 GPU 资源描述不正确而导致 Pod 无法正常运行。

解决步骤：

1. 在 Pod 模板中，确保使用正确的 GPU 资源描述方式。例如，对于 1 个 GPU，资源应该描述为 100 tencent.com/vcuda-core。
2. 如果需要限制 GPU 利用率，应在 Pod 的 annotation 字段中添加 tencent.com/vcuda-core-limit: XX，其中 XX 是一个 100 的倍数或小于 100 的任何值。
3. 确保在 Pod 模板中正确描述了 GPU 内存资源，例如 N tencent.com/vcuda-memory，其中 N 表示 256Mi GPU 内存的倍数。