Nomad 调度架构解析:Evaluation 状态机与完整生命周期指南
Nomad 调度架构解析:Evaluation 状态机与完整生命周期指南
导读:本文基于 contributing/architecture-eval-states.md 展开,深入剖析 Nomad 调度体系的核心对象——Evaluation(评估)的五种显式状态与四种"准状态"(quasi-status),结合仓库源码(nomad/structs/eval.go、nomad/eval_broker.go、nomad/plan_apply.go 等)讲清 PreviousEval、NextEval、BlockedEval 指针链的写入时机与断裂场景。读完你将掌握 Evaluation 从入队、调度、计划应用到终结、回收的完整生命周期,并能熟练通过 nomad eval status 排查调度卡死、排队异常等实际问题。
一、为什么需要理解 Evaluation 状态
Nomad 中的 Evaluation(以下简称 eval)是"评估"对象:每当期望状态(job 定义)或涌现状态(已注册节点)发生变化时,系统都需要创建一个 eval,对它进行"评估"以决定是否采取行动(如创建分配),如果世界状态无需变化则什么都不做。这一点在 nomad/structs/eval.go 的结构体注释中有明确说明:
Evaluation is used anytime we need to apply business logic as a result of a change to our desired state (job specification) or the emergent state (registered nodes).
Nomad 官方对调度机制的总体说明(leader → worker → plan applier 的路径)参见 contributing/architecture-eval-lifecycle.md,但该文档没有详细展开 Evaluation.Status 的各个取值,也没有说明 PreviousEval、NextEval、BlockedEval 这三个 ID 指针在哪里被写入。这正是本文要补齐的部分,同时可配合 contributing/architecture-eval-triggers.md 了解各种触发场景。
二、五种显式状态(Status)定义
在 Nomad 状态存储中,eval 的 Status 字段只有五种取值,其常量定义位于 nomad/structs/eval.go:
EvalStatusBlocked = "blocked"
EvalStatusPending = "pending"
EvalStatusComplete = "complete"
EvalStatusFailed = "failed"
EvalStatusCancelled = "canceled"
各状态语义如下:
| 状态 | 含义 |
|---|---|
pending |
eval 已入队等待被调度,或正被调度器(scheduler)处理,或正被 leader 上的计划应用器(plan applier)应用且尚未确认(acknowledge) |
failed |
计划未能被 plan applier 应用(或在调度器中处于某种无效状态——后者通常是 bug) |
blocked |
当 eval 的计划因应用失败次数过多,或计划只能部分应用且仍有更多分配待创建时,会创建 blocked eval 来"占位等待"后续容量 |
complete |
计划已成功应用(至少部分应用) |
canceled |
评估被更新的状态变更(如 job 的新版本)取代 |
注意 TerminalStatus() 方法(nomad/structs/eval.go)将 complete、failed、canceled 视为终态(terminal),终态意味着不会再发生状态迁移。垃圾回收(GC)正是以此为基础来清扫陈旧 eval 的。
此外,从代码结构看,ShouldEnqueue()(nomad/structs/eval.go)规定只有 pending 状态的 eval 才允许进入 eval broker 队列,而 ShouldBlock()(nomad/structs/eval.go)规定只有 blocked 状态的 eval 才允许进入 blocked eval 跟踪器——这两个方法把"状态"与"处于哪个子系统"严格对应起来。
三、状态迁移总览图
下面这张状态图描述了各 Status 之间的迁移(实线箭头),以及新 eval 被创建的情况(虚线箭头,括号内标注的是新 eval 的 TriggeredBy 字段值)。图摘自原文档,可直接用于理解整体骨架:
flowchart LR
event((Cluster\nEvent))
pending([pending])
blocked([blocked])
complete([complete])
failed([failed])
canceled([canceled])
%% style classes
classDef status fill:#d5f6ea,stroke-width:4px,stroke:#1d9467
classDef other fill:#d5f6ea,stroke:#1d9467
class event other;
class pending,blocked,complete,failed,canceled status;
event -. "job-register
job-deregister
periodic-job
node-update
node-drain
alloc-stop
scheduled
alloc-failure
job-scaling" .-> pending
pending -. "new eval\n(rolling-update)" .-> pending
pending -. "new eval\n(preemption)" .-> pending
pending -. "new eval\n(max-plan-attempts)" .-> blocked
pending -- if plan submitted --> complete
pending -- if invalid --> failed
pending -- if no-op --> canceled
failed -- if retried --> blocked
failed -- if retried --> complete
blocked -- if no-op --> canceled
blocked -- if plan submitted --> complete
complete -. "new eval\n(deployment-watcher)" .-> pending
complete -. "new eval\n(queued-allocs)" .-> blocked
failed -. "new eval\n(failed-follow-up)" .-> pending
触发一个新 eval 的 TriggeredBy 取值全部定义在 nomad/structs/eval.go,包括:job-register(作业注册)、job-deregister(作业注销)、periodic-job(周期作业)、node-drain(节点排空)、node-update(节点更新)、alloc-stop(分配停止)、scheduled(定时触发)、rolling-update(滚动更新)、deployment-watcher(部署监视器)、failed-follow-up(失败跟进)、max-plan-attempts(达到最大计划尝试次数)、alloc-failure(分配失败)、queued-allocs(排队分配)、preemption(抢占)、job-scaling(作业扩缩容)等。
TriggeredBy 字段对应的就是 Evaluation.TriggeredBy(nomad/structs/eval.go),它记录"这个 eval 为什么被创建",是排查调度问题时最直接的线索之一。
四、四种"准状态":显式状态之外的运行阶段
仅凭 Status 字段很难看清 eval 生命周期的全貌,因为 eval 还有几种没有以显式状态存在状态存储中的"准状态":
| 准状态 | 含义 |
|---|---|
scheduling |
eval 正被调度器 worker 处理 |
applying |
eval 产生的计划正被 leader 上的 plan applier 应用 |
delayed |
已入队但将在未来某个时间点才被取出处理的 eval(延迟执行) |
deleted |
eval 已从状态存储中被彻底移除 |
加入这四个准状态(图中虚线框节点)后,可以看到:同一个 Status 迁移可能对应不同的 PreviousEval / NextEval / BlockedEval 赋值;同时也能看清"eval 链"在哪些环节被打断(例如为抢占而创建的新 eval、由 deployment watcher 创建的新 eval)。
flowchart LR
event((Cluster\nEvent))
%% statuss
pending([pending])
blocked([blocked])
complete([complete])
failed([failed])
canceled([canceled])
%% quasi-statuss
deleted([deleted])
delayed([delayed])
scheduling([scheduling])
applying([applying])
%% style classes
classDef status fill:#d5f6ea,stroke-width:4px,stroke:#1d9467
classDef quasistatus fill:#d5f6ea,stroke-dasharray: 5 5,stroke:#1d9467
classDef other fill:#d5f6ea,stroke:#1d9467
class event other;
class pending,blocked,complete,failed,canceled status;
class deleted,delayed,scheduling,applying quasistatus;
event -- "job-register
job-deregister
periodic-job
node-update
node-drain
alloc-stop
scheduled
alloc-failure
job-scaling" --> pending
pending -- dequeued --> scheduling
pending -- if delayed --> delayed
delayed -- dequeued --> scheduling
scheduling -. "not all allocs placed
new eval created by scheduler
trigger queued-allocs
new has .PreviousEval = old.ID
old has .BlockedEval = new.ID" .-> blocked
scheduling -. "failed to plan
new eval created by scheduler
trigger: max-plan-attempts
new has .PreviousEval = old.ID
old has .BlockedEval = new.ID" .-> blocked
scheduling -- "not all allocs placed
reuse already-blocked eval" --> blocked
blocked -- "unblocked by
external state changes" --> scheduling
scheduling -- allocs placed --> complete
scheduling -- "wrong eval type or
max retries exceeded
on plan submit" --> failed
scheduling -- "canceled by
job update/stop" --> canceled
failed -- retry --> scheduling
scheduling -. "new eval from rolling update (system jobs)
created by scheduler
trigger: rolling-update
new has .PreviousEval = old.ID
old has .NextEval = new.ID" .-> pending
scheduling -- submit --> applying
applying -- failed --> scheduling
applying -. "new eval for preempted allocs
created by plan applier
trigger: preemption
new has .PreviousEval = unset!
old has .BlockedEval = unset!" .-> pending
complete -. "new eval from deployments (service jobs)
created by deploymentwatcher
trigger: deployment-watcher
new has .PreviousEval = unset!
old has .NextEval = unset!" .-> pending
failed -- "new eval
trigger: failed-follow-up
new has .PreviousEval = old.ID
old has .NextEval = new.ID" --> pending
pending -- "undeliverable evals
reaped by leader" --> failed
blocked -- "duplicate blocked evals
reaped by leader" --> canceled
canceled -- garbage\ncollection --> deleted
failed -- garbage\ncollection --> deleted
complete -- garbage\ncollection --> deleted
这张增强版状态图揭示了几个重要事实:
- 同一条迁移线可能携带不同的指针赋值:例如
scheduling → blocked有两种路径——创建新 blocked eval(写PreviousEval/BlockedEval)或复用已有 blocked eval(不写指针)。 - 抢占与 deployment watcher 会打断 eval 链:
applying阶段为被抢占的分配创建的新 eval,其PreviousEval保持未设置(unset),旧 eval 的BlockedEval也为未设置;deployment watcher 为 service 作业创建的新 eval 同样不设置PreviousEval/NextEval。 - 回收路径:
canceled、failed、complete最终都会通过垃圾回收进入deleted(彻底从状态存储移除)。
五、三大指针字段:NextEval / PreviousEval / BlockedEval
这三个字段定义在 nomad/structs/eval.go 的 Evaluation 结构体中:
NextEval:为跟进当前 eval 而创建的下一个 eval 的 ID。用于支撑滚动更新(rolling updates)和失败跟进(failed-follow-up)——这类场景需要一条"eval 链"。PreviousEval:创建当前 eval 的那个"前驱 eval"的 ID。同样服务于滚动更新与失败跟进场景。BlockedEval:为当前 eval 创建的 blocked eval 的 ID。当因约束或资源不足而无法放置全部分配时,会创建一个 blocked eval 等待后续容量。
RelatedIDs() 方法(nomad/structs/eval.go)把三者合起来返回"关联 eval 集合",这也是 nomad eval status -related 输出相关 eval 列表的数据基础。
5.1 滚动更新:NextRollingEval
对于滚动更新场景,NextRollingEval()(nomad/structs/eval.go)创建一个 TriggeredBy = rolling-update、Status = pending 的新 eval,并把新 eval 的 PreviousEval 设为当前 eval 的 ID;调度器随后会把新 eval 的 ID 写回旧 eval 的 NextEval,从而形成"链":
func (e *Evaluation) NextRollingEval(wait time.Duration) *Evaluation {
...
return &Evaluation{
...
TriggeredBy: EvalTriggerRollingUpdate,
Status: EvalStatusPending,
Wait: wait,
PreviousEval: e.ID,
...
}
}
5.2 排队分配:CreateBlockedEval
当分配未全部放置时,CreateBlockedEval()(nomad/structs/eval.go)创建一个 TriggeredBy = queued-allocs、Status = blocked 的 eval,其 PreviousEval 指向原 eval;同时原 eval 的 BlockedEval 被指向新创建的 blocked eval。它还顺带携带了 FailedTGAllocs(哪些任务组因何原因无法放置)、ClassEligibility、QuotaLimitReached、MissingNonNodeResources 等诊断信息,供 nomad eval status 展示失败原因:
func (e *Evaluation) CreateBlockedEval(classEligibility map[string]bool,
escaped bool, quotaReached string, failedTGAllocs map[string]*AllocMetric, missing []string) *Evaluation {
...
return &Evaluation{
...
TriggeredBy: EvalTriggerQueuedAllocs,
Status: EvalStatusBlocked,
PreviousEval: e.ID,
FailedTGAllocs: failedTGAllocs,
ClassEligibility: classEligibility,
EscapedComputedClass: escaped,
QuotaLimitReached: quotaReached,
MissingNonNodeResources: missing,
...
}
}
5.3 失败跟进:CreateFailedFollowUpEval
当 eval 因达到投递上限而被标记为失败、且不再由 eval broker 重试时,CreateFailedFollowUpEval()(nomad/structs/eval.go)创建一个 TriggeredBy = failed-follow-up、Status = pending 的跟进 eval,其 PreviousEval 指向原 eval;调用方负责把新 eval 的 ID 复制进旧 eval 的 NextEval。
5.4 抢占:指针被刻意留空
抢占场景比较特殊:在 leader 的 plan applier 中,applyPlan 处理被抢占分配时会为每个被抢占作业创建跟进 eval(nomad/plan_apply.go),其 TriggeredBy = preemption、Status = pending,但不设置 PreviousEval,同时旧 eval 的 BlockedEval 也为未设置。从源码看,这正是增强版状态图中 applying -. "new eval for preempted allocs ..." .-> pending 标注"unset!"的由来——抢占产生的新 eval 与旧 eval 之间不存在链式指针关系。
六、各阶段背后的子系统与源码实现
6.1 入队与出队:EvalBroker
Enqueue/EnqueueAll(nomad/eval_broker.go):把pendingeval 放入对应调度器类型的就绪队列(内部按优先级使用堆排序)。Dequeue(nomad/eval_broker.go):调度器 worker 调用它获取工作,按优先级扫描各调度器队列;多个同优先级队列时随机挑选以保证公平分发。Ack/Nack(nomad/eval_broker.go):worker 成功处理后 Ack;超时未处理则自动 Nack,把 eval 重新放回队列重试。
6.2 延迟执行:delayed 准状态
EvalBroker 内部维护延迟队列与 runDelayedEvalsWatcher 守护协程(nomad/eval_broker.go),配合 WaitUntil 字段(nomad/structs/eval.go)实现 delayed 准状态:eval 到点后才会被正式入队,用于支持失败分配的重调度(delayed rescheduling)以及配置了 max_client_disconnect 的延迟停止场景。nextDelayedEval(nomad/eval_broker.go)负责计算下一个应启动的延迟 eval 及其入队时间。
6.3 阻塞与解阻塞:BlockedEvals
BlockedEvals 跟踪器(nomad/blocked_evals.go)维护所有 blocked 状态的 eval。当出现新节点(容量变化)等外部状态变化时,会触发解阻塞(unblock),把 blocked eval 重新变为 scheduling 继续尝试放置。leader 上还运行着 periodicUnblockFailedEvals(nomad/leader.go),周期性调用 blockedEvals.UnblockFailed() 来解阻塞那些因失败而阻塞的 eval。BlockedStats(nomad/blocked_evals_stats.go)则统计解阻塞的数量供监控使用。
6.4 计划应用失败与投递失败的重试
调度器提交计划到 leader 的 plan applier(scheduling -- submit --> applying)后,若应用失败会回到 scheduling 重试;若同一 eval 超过最大计划尝试次数(max-plan-attempts),则触发创建 blocked eval。而 broker 层如果多次投递都无法送达(undeliverable),leader 会将该 eval 收割为 failed。
6.5 垃圾回收:terminal → deleted
终态 eval(canceled / failed / complete)通过核心作业 CoreJobEvalGC("eval-gc")被周期清扫,常量与说明见 nomad/structs/eval.go:
CoreJobEvalGC is used for the garbage collection of evaluations and allocations. We periodically scan evaluations in a terminal state, in which all the corresponding allocations are also terminal. We delete these out of the system to bound the state.
GC 的时间参数在 nomad/config.go 中定义,默认值(nomad/config.go)为:
EvalGCInterval:每 5 分钟调度一次 eval GC 作业;EvalGCThreshold:普通 eval 终端后超过 1 小时才可回收;BatchEvalGCThreshold:批处理作业(batch)的 eval 需终端后超过 24 小时才可回收。
GC 的具体判断逻辑在 nomad/core_sched.go,它会在 gcEval 中按 cutoff 时间扫描并批量收割满足条件的 eval 及其分配。
七、实战:如何用命令观察 eval 状态机
结合上述状态模型,日常排障可以直接使用 Nomad CLI 观察:
nomad eval list:列出当前所有 eval,重点关注长时间停留在pending或blocked的条目。nomad eval status <eval-id>:查看单个 eval 的Status、TriggeredBy、StatusDescription、FailedTGAllocs(哪些任务组未能放置及原因)以及QueuedAllocations。nomad eval status -related <eval-id>:基于RelatedIDs()展示与该 eval 相关的NextEval/PreviousEval/BlockedEval链,快速判断滚动更新是否停滞、blocked eval 是否被正确创建。nomad job status <job-id>:从作业视角查看最新 eval 状态,配合上面的状态机判断问题出在入队、调度还是计划应用阶段。
典型排查思路:
- eval 长期
pending:可能是调度器 worker 未出队(broker 压力大)、计划应用未确认,或 eval 处于delayed等待WaitUntil到达。 - eval 变为
blocked:说明有分配因资源不足/约束不满足未能放置,此时重点看FailedTGAllocs与节点容量,等待新节点加入后会被 unblock 重新调度。 - eval 链断裂(
NextEval/PreviousEval缺失):若是preemption或deployment-watcher触发,属正常设计;若是滚动更新链路中断,则需检查作业更新流程。
八、小结
Evaluation 是 Nomad 调度系统的"工作令牌":五种显式状态(pending、failed、blocked、complete、canceled)刻画其在状态存储中的持久状态,四种准状态(scheduling、applying、delayed、deleted)刻画其在各子系统中的瞬时阶段;NextEval、PreviousEval、BlockedEval 三个指针则记录了 eval 之间的承继与跟进关系。理解这张状态机,是深入排查 Nomad 调度问题、读懂 nomad eval status 输出的必备基础。
- 状态与触发常量定义:nomad/structs/eval.go
- eval 结构体与指针字段:nomad/structs/eval.go
- 状态判定辅助方法(
TerminalStatus/ShouldEnqueue/ShouldBlock):nomad/structs/eval.go - 三种链式 eval 创建方法:nomad/structs/eval.go
- broker 出入队与延迟队列:nomad/eval_broker.go
- 抢占跟进 eval 的创建(
TriggeredBy = preemption):nomad/plan_apply.go - eval GC 参数与默认值:nomad/config.go、nomad/config.go
- 相关机制文档:contributing/architecture-eval-lifecycle.md、contributing/architecture-eval-triggers.md