Nomad 调度架构解析:Evaluation 状态机与完整生命周期指南

原创2026-09-20 09:24:291,895 阅读
文章标签:任务调度云原生运维后端

Nomad 调度架构解析:Evaluation 状态机与完整生命周期指南

导读:本文基于 contributing/architecture-eval-states.md 展开,深入剖析 Nomad 调度体系的核心对象——Evaluation(评估)的五种显式状态与四种"准状态"(quasi-status),结合仓库源码(nomad/structs/eval.go、nomad/eval_broker.go、nomad/plan_apply.go 等)讲清 PreviousEval、NextEval、BlockedEval 指针链的写入时机与断裂场景。读完你将掌握 Evaluation 从入队、调度、计划应用到终结、回收的完整生命周期,并能熟练通过 nomad eval status 排查调度卡死、排队异常等实际问题。


一、为什么需要理解 Evaluation 状态

Nomad 中的 Evaluation(以下简称 eval)是"评估"对象:每当期望状态(job 定义)或涌现状态(已注册节点)发生变化时,系统都需要创建一个 eval,对它进行"评估"以决定是否采取行动(如创建分配),如果世界状态无需变化则什么都不做。这一点在 nomad/structs/eval.go 的结构体注释中有明确说明:

Evaluation is used anytime we need to apply business logic as a result of a change to our desired state (job specification) or the emergent state (registered nodes).

Nomad 官方对调度机制的总体说明(leader → worker → plan applier 的路径)参见 contributing/architecture-eval-lifecycle.md,但该文档没有详细展开 Evaluation.Status 的各个取值,也没有说明 PreviousEval、NextEval、BlockedEval 这三个 ID 指针在哪里被写入。这正是本文要补齐的部分,同时可配合 contributing/architecture-eval-triggers.md 了解各种触发场景。


二、五种显式状态(Status)定义

在 Nomad 状态存储中,eval 的 Status 字段只有五种取值,其常量定义位于 nomad/structs/eval.go:

EvalStatusBlocked   = "blocked"
EvalStatusPending   = "pending"
EvalStatusComplete  = "complete"
EvalStatusFailed    = "failed"
EvalStatusCancelled = "canceled"

各状态语义如下:

状态 含义
pending eval 已入队等待被调度,或正被调度器(scheduler)处理,或正被 leader 上的计划应用器(plan applier)应用且尚未确认(acknowledge)
failed 计划未能被 plan applier 应用(或在调度器中处于某种无效状态——后者通常是 bug)
blocked 当 eval 的计划因应用失败次数过多,或计划只能部分应用且仍有更多分配待创建时,会创建 blocked eval 来"占位等待"后续容量
complete 计划已成功应用(至少部分应用)
canceled 评估被更新的状态变更(如 job 的新版本)取代

注意 TerminalStatus() 方法(nomad/structs/eval.go)将 complete、failed、canceled 视为终态(terminal),终态意味着不会再发生状态迁移。垃圾回收(GC)正是以此为基础来清扫陈旧 eval 的。

此外,从代码结构看,ShouldEnqueue()(nomad/structs/eval.go)规定只有 pending 状态的 eval 才允许进入 eval broker 队列,而 ShouldBlock()(nomad/structs/eval.go)规定只有 blocked 状态的 eval 才允许进入 blocked eval 跟踪器——这两个方法把"状态"与"处于哪个子系统"严格对应起来。


三、状态迁移总览图

下面这张状态图描述了各 Status 之间的迁移(实线箭头),以及新 eval 被创建的情况(虚线箭头,括号内标注的是新 eval 的 TriggeredBy 字段值)。图摘自原文档,可直接用于理解整体骨架:

flowchart LR

    event((Cluster\nEvent))

    pending([pending])
    blocked([blocked])
    complete([complete])
    failed([failed])
    canceled([canceled])

    %% style classes
    classDef status fill:#d5f6ea,stroke-width:4px,stroke:#1d9467
    classDef other fill:#d5f6ea,stroke:#1d9467
    class event other;
    class pending,blocked,complete,failed,canceled status;

    event -. "job-register
      job-deregister
      periodic-job
      node-update
      node-drain
      alloc-stop
      scheduled
      alloc-failure
      job-scaling" .-> pending

    pending -. "new eval\n(rolling-update)" .-> pending
    pending -. "new eval\n(preemption)" .-> pending

    pending -. "new eval\n(max-plan-attempts)" .-> blocked
    pending -- if plan submitted --> complete
    pending -- if invalid --> failed
    pending -- if no-op --> canceled

    failed -- if retried --> blocked
    failed -- if retried --> complete

    blocked -- if no-op --> canceled
    blocked -- if plan submitted --> complete

    complete -. "new eval\n(deployment-watcher)" .-> pending
    complete -. "new eval\n(queued-allocs)" .-> blocked

    failed -. "new eval\n(failed-follow-up)" .-> pending

触发一个新 eval 的 TriggeredBy 取值全部定义在 nomad/structs/eval.go,包括:job-register(作业注册)、job-deregister(作业注销)、periodic-job(周期作业)、node-drain(节点排空)、node-update(节点更新)、alloc-stop(分配停止)、scheduled(定时触发)、rolling-update(滚动更新)、deployment-watcher(部署监视器)、failed-follow-up(失败跟进)、max-plan-attempts(达到最大计划尝试次数)、alloc-failure(分配失败)、queued-allocs(排队分配)、preemption(抢占)、job-scaling(作业扩缩容)等。

TriggeredBy 字段对应的就是 Evaluation.TriggeredBy(nomad/structs/eval.go),它记录"这个 eval 为什么被创建",是排查调度问题时最直接的线索之一。


四、四种"准状态":显式状态之外的运行阶段

仅凭 Status 字段很难看清 eval 生命周期的全貌,因为 eval 还有几种没有以显式状态存在状态存储中的"准状态":

准状态 含义
scheduling eval 正被调度器 worker 处理
applying eval 产生的计划正被 leader 上的 plan applier 应用
delayed 已入队但将在未来某个时间点才被取出处理的 eval(延迟执行)
deleted eval 已从状态存储中被彻底移除

加入这四个准状态(图中虚线框节点)后,可以看到:同一个 Status 迁移可能对应不同的 PreviousEval / NextEval / BlockedEval 赋值;同时也能看清"eval 链"在哪些环节被打断(例如为抢占而创建的新 eval、由 deployment watcher 创建的新 eval)。

flowchart LR

    event((Cluster\nEvent))

    %% statuss
    pending([pending])
    blocked([blocked])
    complete([complete])
    failed([failed])
    canceled([canceled])

    %% quasi-statuss
    deleted([deleted])
    delayed([delayed])
    scheduling([scheduling])
    applying([applying])

    %% style classes
    classDef status fill:#d5f6ea,stroke-width:4px,stroke:#1d9467
    classDef quasistatus fill:#d5f6ea,stroke-dasharray: 5 5,stroke:#1d9467
    classDef other fill:#d5f6ea,stroke:#1d9467

    class event other;
    class pending,blocked,complete,failed,canceled status;
    class deleted,delayed,scheduling,applying quasistatus;

    event -- "job-register
      job-deregister
      periodic-job
      node-update
      node-drain
      alloc-stop
      scheduled
      alloc-failure
      job-scaling" --> pending

    pending -- dequeued --> scheduling
    pending -- if delayed --> delayed
    delayed -- dequeued --> scheduling

    scheduling -. "not all allocs placed
      new eval created by scheduler
      trigger queued-allocs
      new has .PreviousEval = old.ID
      old has .BlockedEval = new.ID" .-> blocked

    scheduling -. "failed to plan
      new eval created by scheduler
      trigger: max-plan-attempts
      new has .PreviousEval = old.ID
      old has .BlockedEval = new.ID" .-> blocked

    scheduling -- "not all allocs placed
      reuse already-blocked eval" --> blocked

    blocked -- "unblocked by
      external state changes" --> scheduling

    scheduling -- allocs placed --> complete

    scheduling -- "wrong eval type or
      max retries exceeded
      on plan submit" --> failed

    scheduling -- "canceled by
      job update/stop" --> canceled

    failed -- retry --> scheduling

    scheduling -. "new eval from rolling update (system jobs)
      created by scheduler
      trigger: rolling-update
      new has .PreviousEval = old.ID
      old has .NextEval = new.ID" .-> pending

    scheduling -- submit --> applying
    applying -- failed --> scheduling

    applying -. "new eval for preempted allocs
      created by plan applier
      trigger: preemption
      new has .PreviousEval = unset!
      old has .BlockedEval = unset!" .-> pending

    complete -. "new eval from deployments (service jobs)
      created by deploymentwatcher
      trigger: deployment-watcher
      new has .PreviousEval = unset!
      old has .NextEval = unset!" .-> pending

    failed -- "new eval
      trigger: failed-follow-up
      new has .PreviousEval = old.ID
      old has .NextEval = new.ID" --> pending

    pending -- "undeliverable evals
      reaped by leader" --> failed

    blocked -- "duplicate blocked evals
      reaped by leader" --> canceled

    canceled -- garbage\ncollection --> deleted
    failed -- garbage\ncollection --> deleted
    complete -- garbage\ncollection --> deleted

这张增强版状态图揭示了几个重要事实:

  1. 同一条迁移线可能携带不同的指针赋值:例如 scheduling → blocked 有两种路径——创建新 blocked eval(写 PreviousEval/BlockedEval)或复用已有 blocked eval(不写指针)。
  2. 抢占与 deployment watcher 会打断 eval 链:applying 阶段为被抢占的分配创建的新 eval,其 PreviousEval 保持未设置(unset),旧 eval 的 BlockedEval 也为未设置;deployment watcher 为 service 作业创建的新 eval 同样不设置 PreviousEval/NextEval。
  3. 回收路径:canceled、failed、complete 最终都会通过垃圾回收进入 deleted(彻底从状态存储移除)。

五、三大指针字段:NextEval / PreviousEval / BlockedEval

这三个字段定义在 nomad/structs/eval.go 的 Evaluation 结构体中:

  • NextEval:为跟进当前 eval 而创建的下一个 eval 的 ID。用于支撑滚动更新(rolling updates)和失败跟进(failed-follow-up)——这类场景需要一条"eval 链"。
  • PreviousEval:创建当前 eval 的那个"前驱 eval"的 ID。同样服务于滚动更新与失败跟进场景。
  • BlockedEval:为当前 eval 创建的 blocked eval 的 ID。当因约束或资源不足而无法放置全部分配时,会创建一个 blocked eval 等待后续容量。

RelatedIDs() 方法(nomad/structs/eval.go)把三者合起来返回"关联 eval 集合",这也是 nomad eval status -related 输出相关 eval 列表的数据基础。

5.1 滚动更新:NextRollingEval

对于滚动更新场景,NextRollingEval()(nomad/structs/eval.go)创建一个 TriggeredBy = rolling-update、Status = pending 的新 eval,并把新 eval 的 PreviousEval 设为当前 eval 的 ID;调度器随后会把新 eval 的 ID 写回旧 eval 的 NextEval,从而形成"链":

func (e *Evaluation) NextRollingEval(wait time.Duration) *Evaluation {
	...
	return &Evaluation{
		...
		TriggeredBy:    EvalTriggerRollingUpdate,
		Status:         EvalStatusPending,
		Wait:           wait,
		PreviousEval:   e.ID,
		...
	}
}

5.2 排队分配:CreateBlockedEval

当分配未全部放置时,CreateBlockedEval()(nomad/structs/eval.go)创建一个 TriggeredBy = queued-allocs、Status = blocked 的 eval,其 PreviousEval 指向原 eval;同时原 eval 的 BlockedEval 被指向新创建的 blocked eval。它还顺带携带了 FailedTGAllocs(哪些任务组因何原因无法放置)、ClassEligibility、QuotaLimitReached、MissingNonNodeResources 等诊断信息,供 nomad eval status 展示失败原因:

func (e *Evaluation) CreateBlockedEval(classEligibility map[string]bool,
	escaped bool, quotaReached string, failedTGAllocs map[string]*AllocMetric, missing []string) *Evaluation {
	...
	return &Evaluation{
		...
		TriggeredBy:             EvalTriggerQueuedAllocs,
		Status:                  EvalStatusBlocked,
		PreviousEval:            e.ID,
		FailedTGAllocs:          failedTGAllocs,
		ClassEligibility:        classEligibility,
		EscapedComputedClass:    escaped,
		QuotaLimitReached:       quotaReached,
		MissingNonNodeResources: missing,
		...
	}
}

5.3 失败跟进:CreateFailedFollowUpEval

当 eval 因达到投递上限而被标记为失败、且不再由 eval broker 重试时,CreateFailedFollowUpEval()(nomad/structs/eval.go)创建一个 TriggeredBy = failed-follow-up、Status = pending 的跟进 eval,其 PreviousEval 指向原 eval;调用方负责把新 eval 的 ID 复制进旧 eval 的 NextEval。

5.4 抢占:指针被刻意留空

抢占场景比较特殊:在 leader 的 plan applier 中,applyPlan 处理被抢占分配时会为每个被抢占作业创建跟进 eval(nomad/plan_apply.go),其 TriggeredBy = preemption、Status = pending,但不设置 PreviousEval,同时旧 eval 的 BlockedEval 也为未设置。从源码看,这正是增强版状态图中 applying -. "new eval for preempted allocs ..." .-> pending 标注"unset!"的由来——抢占产生的新 eval 与旧 eval 之间不存在链式指针关系。


六、各阶段背后的子系统与源码实现

6.1 入队与出队:EvalBroker

  • Enqueue / EnqueueAll(nomad/eval_broker.go):把 pending eval 放入对应调度器类型的就绪队列(内部按优先级使用堆排序)。
  • Dequeue(nomad/eval_broker.go):调度器 worker 调用它获取工作,按优先级扫描各调度器队列;多个同优先级队列时随机挑选以保证公平分发。
  • Ack / Nack(nomad/eval_broker.go):worker 成功处理后 Ack;超时未处理则自动 Nack,把 eval 重新放回队列重试。

6.2 延迟执行:delayed 准状态

EvalBroker 内部维护延迟队列与 runDelayedEvalsWatcher 守护协程(nomad/eval_broker.go),配合 WaitUntil 字段(nomad/structs/eval.go)实现 delayed 准状态:eval 到点后才会被正式入队,用于支持失败分配的重调度(delayed rescheduling)以及配置了 max_client_disconnect 的延迟停止场景。nextDelayedEval(nomad/eval_broker.go)负责计算下一个应启动的延迟 eval 及其入队时间。

6.3 阻塞与解阻塞:BlockedEvals

BlockedEvals 跟踪器(nomad/blocked_evals.go)维护所有 blocked 状态的 eval。当出现新节点(容量变化)等外部状态变化时,会触发解阻塞(unblock),把 blocked eval 重新变为 scheduling 继续尝试放置。leader 上还运行着 periodicUnblockFailedEvals(nomad/leader.go),周期性调用 blockedEvals.UnblockFailed() 来解阻塞那些因失败而阻塞的 eval。BlockedStats(nomad/blocked_evals_stats.go)则统计解阻塞的数量供监控使用。

6.4 计划应用失败与投递失败的重试

调度器提交计划到 leader 的 plan applier(scheduling -- submit --> applying)后,若应用失败会回到 scheduling 重试;若同一 eval 超过最大计划尝试次数(max-plan-attempts),则触发创建 blocked eval。而 broker 层如果多次投递都无法送达(undeliverable),leader 会将该 eval 收割为 failed。

6.5 垃圾回收:terminal → deleted

终态 eval(canceled / failed / complete)通过核心作业 CoreJobEvalGC("eval-gc")被周期清扫,常量与说明见 nomad/structs/eval.go:

CoreJobEvalGC is used for the garbage collection of evaluations and allocations. We periodically scan evaluations in a terminal state, in which all the corresponding allocations are also terminal. We delete these out of the system to bound the state.

GC 的时间参数在 nomad/config.go 中定义,默认值(nomad/config.go)为:

  • EvalGCInterval:每 5 分钟调度一次 eval GC 作业;
  • EvalGCThreshold:普通 eval 终端后超过 1 小时才可回收;
  • BatchEvalGCThreshold:批处理作业(batch)的 eval 需终端后超过 24 小时才可回收。

GC 的具体判断逻辑在 nomad/core_sched.go,它会在 gcEval 中按 cutoff 时间扫描并批量收割满足条件的 eval 及其分配。


七、实战:如何用命令观察 eval 状态机

结合上述状态模型,日常排障可以直接使用 Nomad CLI 观察:

  • nomad eval list:列出当前所有 eval,重点关注长时间停留在 pending 或 blocked 的条目。
  • nomad eval status <eval-id>:查看单个 eval 的 Status、TriggeredBy、StatusDescription、FailedTGAllocs(哪些任务组未能放置及原因)以及 QueuedAllocations。
  • nomad eval status -related <eval-id>:基于 RelatedIDs() 展示与该 eval 相关的 NextEval / PreviousEval / BlockedEval 链,快速判断滚动更新是否停滞、blocked eval 是否被正确创建。
  • nomad job status <job-id>:从作业视角查看最新 eval 状态,配合上面的状态机判断问题出在入队、调度还是计划应用阶段。

典型排查思路:

  • eval 长期 pending:可能是调度器 worker 未出队(broker 压力大)、计划应用未确认,或 eval 处于 delayed 等待 WaitUntil 到达。
  • eval 变为 blocked:说明有分配因资源不足/约束不满足未能放置,此时重点看 FailedTGAllocs 与节点容量,等待新节点加入后会被 unblock 重新调度。
  • eval 链断裂(NextEval/PreviousEval 缺失):若是 preemption 或 deployment-watcher 触发,属正常设计;若是滚动更新链路中断,则需检查作业更新流程。

八、小结

Evaluation 是 Nomad 调度系统的"工作令牌":五种显式状态(pending、failed、blocked、complete、canceled)刻画其在状态存储中的持久状态,四种准状态(scheduling、applying、delayed、deleted)刻画其在各子系统中的瞬时阶段;NextEval、PreviousEval、BlockedEval 三个指针则记录了 eval 之间的承继与跟进关系。理解这张状态机,是深入排查 Nomad 调度问题、读懂 nomad eval status 输出的必备基础。

登录后查看全文
nomad