NVKE责任边界详解:NVIDIA负责什么,运营商和客户又该负责什么

原创2026-11-08 23:43:332,176 阅读
文章标签:云原生容器编排集群管理微服务运维身份认证

NVKE责任边界详解:NVIDIA负责什么,运营商和客户又该负责什么

NVKE(NVIDIA Kubernetes Engine) 是一个面向 GPU 裸金属的 Kubernetes 管理平面(management plane)开源项目:运营商(AI 工厂)安装 NVKE 后,即可为最终客户批量创建和运营独立的 Kubernetes 集群。理解 NVKE 责任边界 是落地部署的第一步——NVIDIA 交付软件,运营商交付服务,客户交付业务。本文用一张职责地图讲清三方各自负责什么、不负责什么,帮助新手快速避开生产坑。

30 秒看懂 NVKE:GPU Kubernetes 的"集群工厂"

一句话定位:NVKE 不是 Kubernetes 发行版,而是一座"自托管的集群工厂"——它在一个管理集群上运行,然后按 API 请求动态"生产"出许多相互隔离的工作负载集群,每个集群都有自己的控制平面、etcd 和节点池。

一次 NVKE 部署中包含两类 Kubernetes 集群,理解它们是理解责任边界的前提:

集群类型 运行内容 由谁驱动
管理集群(Management Cluster) NVKE 管理平面:REST API、控制器、Temporal 工作流 运营商
工作负载集群(Workload Cluster) 客户的 GPU 训练 / 推理 / 微调业务 客户(通过 kubectl)

📌 官方原文对角色分工的总结只有一句话:"NVIDIA 提供软件,AI 工厂运营服务。" 细节全部在下面三张表里。

NVIDIA(软件侧)负责什么:NVKE + NVKR 双项目分工

NVIDIA 交付的是两个 Apache 2.0 许可的开源项目,各司其职:

NVKE 负责的事

  • 节点供给与集群组建:通过 Cluster API 向基础设施申请裸金属机器,用 kubeadm 组建独立控制平面
  • 集群生命周期管理:创建、扩缩容、删除节点池,升级 Kubernetes 版本,替换故障节点
  • 节点身份:每台节点加入集群前,先通过 SPIFFE/SPIRE + TPM 完成硬件级身份认证,才发放入网凭证
  • 加密与凭据:支持按集群开启 etcd 静态加密;自动续期工作负载集群的管理证书(剩余 30 天时自动续签)
  • 上游兼容性:基于上游 Kubernetes、kubeadm 和 Cluster API 构建,CNCF 已认证 NVKE 创建的集群完全符合 Kubernetes 一致性标准——客户的 workload 和既有经验可以原样迁移

NVKR 负责的事

配套构建系统 NVKR(NVIDIA Kubernetes Recipes) 负责:

  • 从固定版本(pinned)的源构建节点 OS 镜像、二进制和容器镜像,并记录 SBOM
  • 托管流水线的发布带签名和构建溯源,供运营商按自己的策略校验后才允许进入集群

⛔ NVKE 明确"不负责"的三件事

这是责任边界中最容易误解的部分,官方文档逐条列明:

不做的事 为什么 谁来负责
管理裸金属 NICo 负责机器发现、固件更新、网络配置和主机供给 运营商(NVIDIA Infra Controller)
提供 OS 镜像或 Kubernetes 二进制 镜像由运营商用 NVKR 或 NVKE 仓库自行构建并托管 运营商
运行客户业务 NVKE 只运营集群本身,集群里跑什么是客户的事 客户

运营商必须准备和承担什么:安装前清单

运营商是 NVKE 的第一责任主体。按 安装规划文档 的梳理,责任可分为四类:

1️⃣ 基础设施与 NICo

  • 管理集群节点:奇数台(1 / 3 / 5 台),每台需配备 TPM 2.0 设备
  • 工作负载集群的裸金属机器需在 NICo 中完成注册,并分配实例类型配额
  • NICo 侧的 site、VPC、SSH 密钥组、API token 等标识

2️⃣ 网络与端口

  • 每个多节点控制平面一个 API 虚拟 IP(VIP),并配置 BGP 路由(本地 AS 固定为 65100)
  • Pod / Service 网段不能相互重叠、也不能与节点网络冲突
  • 放行关键端口:NVKE API(30080)、Kubernetes API(6443)、nvke-agent(15005)、SPIRE(30440)、BGP(179)

3️⃣ 制品与供应链

  • 构建节点 OS 镜像,并通过 HTTP(S) 端点提供启动文件
  • 将控制器镜像等制品发布到自己控制的容器仓库(NVKE 不在 GitHub 发布下载包)
  • 为管理集群提供自己的 SPIRE 证书颁发机构(CA)——没有它,节点无法完成身份认证入网

4️⃣ 安全与可用性

  • API 鉴权默认关闭且为明文 HTTP:运营商必须在接入业务前配置 OIDC 身份提供商完成加固
  • NVKE 不做授权(authorization):凡是鉴权放行的调用者都能调用所有端点,token 只能发给需要管理全部集群的人和系统
  • 集群可用性、客户访问通道(直接路由或运营商自建的访问代理)均由运营商保障

⚠️ 预览版(Preview)特别提示:NVKE 当前处于预览阶段,官方明确不建议用于生产负载。其中三条限制直接影响运营商责任:管理集群不能自我升级、扩缩容或替换节点(节点数需按部署全生命周期规划);没有管理平面升级流程;没有备份/恢复流程(须自行安全保管 kubeconfig 和 etcd 加密密钥文件)。详见 预览状态与已知限制。

客户能做什么、不能做什么:工作负载集群的使用边界

客户拿到的入口是一份 admin kubeconfig,权限为 cluster-admin。官方文档对此划出一条清晰的分界线:

✅ 客户自己负责

事项 说明
Workloads 业务负载及其容器镜像
命名空间与密钥 业务用的 namespace 和应用 secrets
内部 RBAC 为自己的用户创建更细粒度的凭证:ServiceAccount + token、Role / ClusterRole 绑定。NVKE 不为客户用户创建任何默认角色

注意:admin kubeconfig 具有 cluster-admin 权限,因此 NVKE 不会在集群内部强制执行任何权限上限——运营商和客户需要事先约定好使用边界。

❌ 客户不能直接管理(需向运营商提申请)

  • 节点池:节点数量、实例类型、标签 / 污点、Kubernetes 版本
  • 控制平面:API 地址(kube-vip)、CNI 插件与网络配置
  • nvke:breakglass 角色绑定:NVKE 会在缺失时重建该绑定,客户删除它只会触发下次调和时再次创建

这些变更的唯一通道是 NVKE API(nvkectl),由运营商执行。更多细节见 工作负载集群访问指南 和 节点池管理。

上手前必读:5 条关键边界提醒

  1. admin kubeconfig 一旦交出无法吊销——证书有效期一年,NVKE 不轮换工作负载集群的证书颁发机构,过期前副本始终有效
  2. 节点池改配置不会替换已有节点——只有变更后新创建的节点才用新配置,旧节点需自行(或配合 break-fix 系统)删除
  3. nvkectl 升级只升控制平面——节点池的 Kubernetes 版本要单独通过 API 更新,旧节点会被标记等待回收
  4. FDE(全盘加密)镜像仅供评估——同一镜像的所有节点共享加密密钥,不能依赖它做静态数据保密
  5. 默认遥测后端仅供评估——NKTP 默认把数据存在内存里且 Grafana 匿名可管理,正式使用须指向自己的后端

参考资料

🧭 一句话总结:NVIDIA 负责把"建集群"这件事做成可靠、可溯源的开源软件;运营商负责机器、网络、镜像、安全加固和服务可用性;客户负责跑在集群里的每一个业务。三方边界清晰,才是 NVKE 落地 GPU Kubernetes 服务的前提。

登录后查看全文
nvke