8张H200插上电却一张也调不动?GPU机房交付后最容易踩的4个坑

原创2026-11-09 23:56:521,914 阅读
文章标签:云原生容器编排集群管理微服务运维身份认证

8张H200插上电却一张也调不动?GPU机房交付后最容易踩的4个坑

凌晨两点,机房里8台崭新的GPU服务器风扇嗡嗡作响,交换机灯闪得很有节奏,监控大屏上一排绿色的 Ready,看着赏心悦目。

可训练团队那边发来消息:任务提交上去十几分钟了,一直卡在 Pending,一张卡都申请不到。

机器明明都在,卡明明都空着,就是调度不进去。这种"看得见、摸不着"的憋屈,几乎是每个GPU机房交付后都会经历的成人礼。

最近半年,从"自建算力"到"GB200上架",全网关于GPU机房的话题热度一路飙升。大家讨论的都是买什么卡、怎么组网、怎么散热,却很少有人聊交付之后那几天最磨人的事——为什么节点明明加进来了,却不可调度。

正好,NVIDIA 开源的这套 NVKE(NVIDIA Kubernetes Engine)文档里,把这类坑写得相当实在。我们就借着它,把四个高频排查点用大白话捋一遍。

一、先搞清楚:NVKE 到底是干什么的

别被名字吓到。你可以把它理解成一座GPU机房的"物业公司"加"调度总管"。

以前的玩法是:机器上架、装系统、装驱动、装 Kubernetes、配网络、发证书、做监控……每一步都得人肉拼装,一个机房几十上百台机器,拼错一次就要重来。

NVKE 想干的事很朴素:你只管说"我要一个8卡集群",剩下的找机器、装系统、组集群、发访问凭证、以后扩容换机,它替你跑完。

它靠 NVIDIA 自家的 NICo 去管理裸金属机器,用 kubeadm 和 Cluster API 这些上游标准件组集群,网络用 OVN-Kubernetes,节点上线前还得用 TPM 芯片做一次"身份核验",确认这台机器真是你机房里的那台,才发准入凭证。

一个很讨喜的细节:它是 Apache 2.0 开源的,而且拿过 CNCF 的 Kubernetes 一致性认证。翻译成人话就是——它造出来的集群是"正经 Kubernetes",你团队以前写的那些部署文件、用惯的那些工具,搬过来照样能用,不用重新学一套方言。

二、坑一:卡在里面,门上却挂着"施工中,非请勿入"

Kubernetes 里有个东西叫"污点",我更喜欢把它叫作门上的牌子。

牌子上写着"施工中,非请勿入",意思就是:这台机器我留着有特殊用途,普通任务别往这儿塞。想让任务进去,你的任务得挂一张对应的"通行证",也就是"容忍"。

GPU 机房最容易出的事,就是这块牌子忘了摘。

比如管理集群刚搭好时,控制面节点默认挂着"只准系统组件进"的牌子,正常流程里安装程序会帮你摘掉。可如果这一步没成功,后面所有组件都排不进去,证书组件、网络组件一个个超时,人会以为是网络问题,其实是没人愿意上这台机器。

更阴的是另一种牌子:写着"进来可以,但我一挂你就得搬走"。这种牌子挂上去的瞬间,连之前已经跑起来的后台程序都会被赶下车,包括网络插件、监控采集这类每个节点都必须有的东西。

结果就是:节点还在,绿灯还亮,但网络悄悄断了、监控悄悄没了,你在控制台看着一切正常,业务却怎么都不通。

所以第一件事永远是:别只看节点在不在,要看它身上挂了什么牌子,以及你的任务有没有带对应的通行证。

三、坑二:机器 Ready 了,可它没说自己有显卡

这是最反直觉、也最容易被误判的一个坑。

很多人以为,驱动装好、卡插上,Kubernetes 就自动知道"这台机器有8张卡"。

并不会。

Kubernetes 本身只认 CPU 和内存。显卡这种"外挂设备",需要有个专门的登记员去上报——这个登记员就是设备插件(Device Plugin)。它干的事特别像小区门卫登记:挨个把卡登记好,写上"本机可供调度的显卡数量是8",调度器才知道这里有货。

而驱动、登记员、监控、容器运行时配置这一整套,通常被打包成"GPU Operator"一起装。NVIDIA 后来还推出了 AICR,相当于官方预先配好的套餐:驱动版本、Operator 版本、Kubernetes 版本全部锁死、互相验证过,省得你自己试出一堆版本冲突。

有意思的是,就连专做GPU集群的 NVKE,文档里都写得很坦白:它的部署流程里不装 GPU Operator,所以一台 GPU 节点会正常变成 Ready,但不会对外宣称自己有显卡。 验收环节也只验证到"机器能开机、能加入、能干净释放",显卡驱动和资源上报并不在覆盖范围内。

这段话其实很值得所有做交付的人抄在本子上:节点 Ready ≠ 显卡可用。

排查起来就一句话:看这台机器"可供分配的资源"里,有没有那一行显卡。没有,就往驱动和登记员这条线上找,别在调度器上浪费时间。

顺带一个更隐蔽的分支:资源上报了,但名字对不上。有人习惯用厂商原生的资源名,有人用社区习惯的写法,标签也各写各的。调度器是个死心眼的门卫,你写的名字差一个字母,它都当没听见。

NVKE 在这里还加了一道"防呆":节点的标签和污点只允许在建池子时定好,节点加入后打一次,之后谁用命令行删掉了,它也不会自动补回来。而且 kubernetes.io、nvke.nvidia.com 这些前缀的标签是保留区,不许乱动。听着麻烦,其实是在防止有人手一抖,把整个池子的调度规则搞乱。

四、坑三:重启、维护、换机之后,封条没人撕

Kubernetes 里还有个动作叫 cordon,中文一般叫"封锁",我管它叫给节点贴封条。

贴上去之后,这台机器上已有的任务继续跑,但新的任务一个都不许进来。它常用于维护、重启、换机这些场景,是保护动作,本身没毛病。

问题出在"撕封条"这一步经常没人负责。

NVKE 的文档里就明确写了:节点重启流程结束后,它不会主动帮你解封,什么时候恢复接活,交给运维策略或者专门的故障处置系统来决定。换机、缩容、自动回收这些流程也一样,系统只负责打个"这台该换了"的标记,真正排水、下线、什么时候补新机器,都是人的决策。

于是就出现了经典画面:机器重启完,一切正常,就是新任务进不来。工程师查了半天镜像、网络、存储,最后发现是一个星期前维护时贴的封条还挂着。

再叠加上换机的时间差,就更难受了:旧节点封了准备下,新节点还在开机、装系统、做身份核验。这段窗口里集群看着节点数没少,实际能用的少了一台,GPU 任务自然排队。

记住一句话:所有会动节点的操作,都要在流程里写清楚"谁来撕封条"。 靠人记,迟早会忘。

五、坑四:明明有空卡,为什么还是排不上队

到了这一步,牌子和封条都正常,资源也上报了,还是排不进去?那就要算账了。这里其实有三本账,很多团队只算了第一本。

第一本是物理账:机房里到底还有没有空闲机器。

GPU 机器不是无限的,云上点点鼠标就有,自建机房是要排队的。NVKE 这类系统向底层要机器时,如果对应机型没有给这个组织分配额度,或者单纯就是没空闲整机了,节点会一直卡在"等待分配",你上面怎么调都没用。

第二本是逻辑账:账面上有几台,实际能用几台。

一台机器只要没 Ready、被封了、正在删、被标记待回收,都不能算进"可用"。有些系统在算自动替换节奏时,会先扣掉这部分缺口,缺口越大,越不敢动下一台。所以你会看到"我明明有8台,它却说只能换1台"这种看似抠门的判断,其实是在保容量。

反过来还有个反差:把期望节点数调小,系统未必会自动删掉健康的机器。它会尊重"不主动干掉正在干活的节点"这条底线,于是池子里可能长期多出几台。账面对不上,人就开始怀疑人生。

第三本是调度账:集群内部的配额和门槛。

命名空间可能设了资源配额,一个团队最多只能用几张卡;任务自己写的申请值可能大得离谱,比如一口气要8张卡但集群只剩4张空闲;节点选择器和亲和性又可能把可选范围缩到只剩两台机器,而那两台刚好被占了。

这三本账叠在一起,表现出来的症状完全一样:Pending。

这也是为什么老手排查从不先看调度器日志,而是先问三句话:机器够不够、节点能不能用、这个任务被允许用多少。

六、给交付团队的一份"五分钟自查清单"

把上面的东西压缩成五步,机房交付当晚就能用:

第一步,看任务卡片上的事件提示。 它会用一句话告诉你,是资源不够、亲和性不满足,还是有牌子没摘。这句话比任何猜测都值钱。

第二步,看节点的可供分配资源里有没有显卡那一行。 没有就查驱动和登记员,有就往下走。

第三步,看节点有没有被封、身上挂了什么牌子、你的任务带没带通行证。 重启和维护之后尤其要看。

第四步,看配额和申请值。 是集群没卡,还是这个团队被限额了,这是两回事。

第五步,看容量池里还有没有整机。 前面全对,机器没了,也只能等。

顺便说一句,NVKE 这类系统有个挺贴心的设计:它会把每台节点的"Kubernetes 是否就绪""是否被封""是否被标记待回收"这些状态单独摊开给你看,不用你去猜。真正难的从来不是命令怎么敲,而是知道该看哪几个格子。

写在最后

GPU 机房这几年被讲得太浪漫了:一堆跑分、一堆参数、一堆"算力即国力"。

但真正把机器交到训练团队手里的那一刻,浪漫会迅速退潮,剩下的是特别朴素的工程问题:牌子摘了吗、登记了吗、封条撕了吗、账算清了吗。

这四件事听着一点都不酷,却决定了那8张卡是躺在机柜里发光,还是真的在跑模型。

也提醒一句:这类平台目前大多还在 preview 阶段,官方自己都写着不建议直接上生产,显卡工作负载的验收也还没跑通。宣传页上的"一键交付",和机房里的"一键可用",中间隔着的正是这些琐碎活儿。

你们机房交付那次,最先卡住的是哪一步?是牌子忘了摘,还是资源名字对不上?评论区聊聊,说不定你的坑就是下一个人的救命文档。

登录后查看全文
nvke