NVKE责任边界详解:NVIDIA负责什么,运营商和客户又该负责什么
NVKE责任边界详解:NVIDIA负责什么,运营商和客户又该负责什么
NVKE(NVIDIA Kubernetes Engine) 是一个面向 GPU 裸金属的 Kubernetes 管理平面(management plane)开源项目:运营商(AI 工厂)安装 NVKE 后,即可为最终客户批量创建和运营独立的 Kubernetes 集群。理解 NVKE 责任边界 是落地部署的第一步——NVIDIA 交付软件,运营商交付服务,客户交付业务。本文用一张职责地图讲清三方各自负责什么、不负责什么,帮助新手快速避开生产坑。
30 秒看懂 NVKE:GPU Kubernetes 的"集群工厂"
一句话定位:NVKE 不是 Kubernetes 发行版,而是一座"自托管的集群工厂"——它在一个管理集群上运行,然后按 API 请求动态"生产"出许多相互隔离的工作负载集群,每个集群都有自己的控制平面、etcd 和节点池。
一次 NVKE 部署中包含两类 Kubernetes 集群,理解它们是理解责任边界的前提:
| 集群类型 | 运行内容 | 由谁驱动 |
|---|---|---|
| 管理集群(Management Cluster) | NVKE 管理平面:REST API、控制器、Temporal 工作流 | 运营商 |
| 工作负载集群(Workload Cluster) | 客户的 GPU 训练 / 推理 / 微调业务 | 客户(通过 kubectl) |
📌 官方原文对角色分工的总结只有一句话:"NVIDIA 提供软件,AI 工厂运营服务。" 细节全部在下面三张表里。
NVIDIA(软件侧)负责什么:NVKE + NVKR 双项目分工
NVIDIA 交付的是两个 Apache 2.0 许可的开源项目,各司其职:
NVKE 负责的事
- 节点供给与集群组建:通过 Cluster API 向基础设施申请裸金属机器,用
kubeadm组建独立控制平面 - 集群生命周期管理:创建、扩缩容、删除节点池,升级 Kubernetes 版本,替换故障节点
- 节点身份:每台节点加入集群前,先通过 SPIFFE/SPIRE + TPM 完成硬件级身份认证,才发放入网凭证
- 加密与凭据:支持按集群开启 etcd 静态加密;自动续期工作负载集群的管理证书(剩余 30 天时自动续签)
- 上游兼容性:基于上游 Kubernetes、kubeadm 和 Cluster API 构建,CNCF 已认证 NVKE 创建的集群完全符合 Kubernetes 一致性标准——客户的 workload 和既有经验可以原样迁移
NVKR 负责的事
配套构建系统 NVKR(NVIDIA Kubernetes Recipes) 负责:
- 从固定版本(pinned)的源构建节点 OS 镜像、二进制和容器镜像,并记录 SBOM
- 托管流水线的发布带签名和构建溯源,供运营商按自己的策略校验后才允许进入集群
⛔ NVKE 明确"不负责"的三件事
这是责任边界中最容易误解的部分,官方文档逐条列明:
| 不做的事 | 为什么 | 谁来负责 |
|---|---|---|
| 管理裸金属 | NICo 负责机器发现、固件更新、网络配置和主机供给 | 运营商(NVIDIA Infra Controller) |
| 提供 OS 镜像或 Kubernetes 二进制 | 镜像由运营商用 NVKR 或 NVKE 仓库自行构建并托管 | 运营商 |
| 运行客户业务 | NVKE 只运营集群本身,集群里跑什么是客户的事 | 客户 |
运营商必须准备和承担什么:安装前清单
运营商是 NVKE 的第一责任主体。按 安装规划文档 的梳理,责任可分为四类:
1️⃣ 基础设施与 NICo
- 管理集群节点:奇数台(1 / 3 / 5 台),每台需配备 TPM 2.0 设备
- 工作负载集群的裸金属机器需在 NICo 中完成注册,并分配实例类型配额
- NICo 侧的 site、VPC、SSH 密钥组、API token 等标识
2️⃣ 网络与端口
- 每个多节点控制平面一个 API 虚拟 IP(VIP),并配置 BGP 路由(本地 AS 固定为 65100)
- Pod / Service 网段不能相互重叠、也不能与节点网络冲突
- 放行关键端口:NVKE API(30080)、Kubernetes API(6443)、nvke-agent(15005)、SPIRE(30440)、BGP(179)
3️⃣ 制品与供应链
- 构建节点 OS 镜像,并通过 HTTP(S) 端点提供启动文件
- 将控制器镜像等制品发布到自己控制的容器仓库(NVKE 不在 GitHub 发布下载包)
- 为管理集群提供自己的 SPIRE 证书颁发机构(CA)——没有它,节点无法完成身份认证入网
4️⃣ 安全与可用性
- API 鉴权默认关闭且为明文 HTTP:运营商必须在接入业务前配置 OIDC 身份提供商完成加固
- NVKE 不做授权(authorization):凡是鉴权放行的调用者都能调用所有端点,token 只能发给需要管理全部集群的人和系统
- 集群可用性、客户访问通道(直接路由或运营商自建的访问代理)均由运营商保障
⚠️ 预览版(Preview)特别提示:NVKE 当前处于预览阶段,官方明确不建议用于生产负载。其中三条限制直接影响运营商责任:管理集群不能自我升级、扩缩容或替换节点(节点数需按部署全生命周期规划);没有管理平面升级流程;没有备份/恢复流程(须自行安全保管 kubeconfig 和 etcd 加密密钥文件)。详见 预览状态与已知限制。
客户能做什么、不能做什么:工作负载集群的使用边界
客户拿到的入口是一份 admin kubeconfig,权限为 cluster-admin。官方文档对此划出一条清晰的分界线:
✅ 客户自己负责
| 事项 | 说明 |
|---|---|
| Workloads | 业务负载及其容器镜像 |
| 命名空间与密钥 | 业务用的 namespace 和应用 secrets |
| 内部 RBAC | 为自己的用户创建更细粒度的凭证:ServiceAccount + token、Role / ClusterRole 绑定。NVKE 不为客户用户创建任何默认角色 |
注意:admin kubeconfig 具有 cluster-admin 权限,因此 NVKE 不会在集群内部强制执行任何权限上限——运营商和客户需要事先约定好使用边界。
❌ 客户不能直接管理(需向运营商提申请)
- 节点池:节点数量、实例类型、标签 / 污点、Kubernetes 版本
- 控制平面:API 地址(kube-vip)、CNI 插件与网络配置
nvke:breakglass角色绑定:NVKE 会在缺失时重建该绑定,客户删除它只会触发下次调和时再次创建
这些变更的唯一通道是 NVKE API(nvkectl),由运营商执行。更多细节见 工作负载集群访问指南 和 节点池管理。
上手前必读:5 条关键边界提醒
- admin kubeconfig 一旦交出无法吊销——证书有效期一年,NVKE 不轮换工作负载集群的证书颁发机构,过期前副本始终有效
- 节点池改配置不会替换已有节点——只有变更后新创建的节点才用新配置,旧节点需自行(或配合 break-fix 系统)删除
nvkectl升级只升控制平面——节点池的 Kubernetes 版本要单独通过 API 更新,旧节点会被标记等待回收- FDE(全盘加密)镜像仅供评估——同一镜像的所有节点共享加密密钥,不能依赖它做静态数据保密
- 默认遥测后端仅供评估——NKTP 默认把数据存在内存里且 Grafana 匿名可管理,正式使用须指向自己的后端
参考资料
🧭 一句话总结:NVIDIA 负责把"建集群"这件事做成可靠、可溯源的开源软件;运营商负责机器、网络、镜像、安全加固和服务可用性;客户负责跑在集群里的每一个业务。三方边界清晰,才是 NVKE 落地 GPU Kubernetes 服务的前提。