KubeVirt 驱逐请求(Eviction Requests)处理机制全解析:从拦截 Webhook 到 PDB 保护再到 VMI 迁移

原创2026-10-05 19:16:181,689 阅读
文章标签:云原生

KubeVirt 驱逐请求(Eviction Requests)处理机制全解析:从拦截 Webhook 到 PDB 保护再到 VMI 迁移

KubeVirt 的虚拟机运行在 virt-launcher Pod 内,因此 Kubernetes 原生的 API 驱逐(API-initiated Eviction)机制会直接作用于虚拟机宿主 Pod,而虚拟机的"驱逐"远比普通 Pod 复杂。本文以 docs/handling-eviction-requests.md 为主线,系统讲解 KubeVirt 处理驱逐请求的完整链路:四种驱逐策略(Eviction Strategy)、virt-api 的 Pod 驱逐拦截 Webhook、virt-controller 的 Disruption Budget 与 Evacuation 控制器,并结合仓库源码给出底层实现证据。读完本文,你将能够理解 kubectl drain 或 Descheduler 触发驱逐时 KubeVirt 内部发生了什么,以及如何为 VMI 配置正确的驱逐策略以获得"先迁移、后销毁"的优雅处理。

背景:为什么虚拟机的驱逐比普通 Pod 更复杂

Kubernetes 的 API 支持 API-initiated Eviction(即通过 Eviction 子资源编程式驱逐 Pod),这一 API 被多种工具使用,典型的包括:

  • kubectl drain:节点维护时驱逐节点上所有 Pod;
  • Descheduler(Kubernetes SIG 出品的集群级调度优化工具):根据调度策略主动驱逐 Pod 以优化资源分布。

由于 KubeVirt 的虚拟机运行在 virt-launcher Pod 之中,它们天然会受到 Kubernetes 驱逐机制的影响。但虚拟机的驱逐远比普通 Pod 复杂:直接删除 virt-launcher Pod 意味着虚拟机实例(VMI)随之被销毁,而 KubeVirt 更期望在可能的情况下先把虚拟机迁移到其他节点再回收 Pod。KubeVirt 用 Evacuation(撤离) 一词专指"因 virt-launcher Pod 被驱逐而触发的 VMI 迁移"。

为了在 Kubernetes 原生驱逐语义之上叠加"先迁移后销毁"的控制能力,KubeVirt 组合了三个核心组件:

  1. Pod Eviction Webhook(virt-api 提供的验证准入 Webhook):拦截集群内所有 Pod 驱逐请求,按 VMI 的驱逐策略决定批准或拒绝,并在需要时把 VMI 标记为待撤离;
  2. Pod Disruption Budget(PDB)(virt-controller 的 Disruption Budget Controller 管理):在 Webhook 放行后作为第二道防线,阻止受保护的 virt-launcher Pod 被立即销毁;
  3. Evacuation Controller(virt-controller 内部):发现被标记为待撤离的 VMI 后为其创建 VirtualMachineInstanceMigration,完成跨节点迁移。

驱逐策略(Eviction Strategies):VMI 与集群两级配置

每个 VirtualMachineInstance 可以配置四种驱逐策略之一。策略定义在 VMI 的 spec 中;如果 VMI 自身未设置,则回退到 KubeVirt CustomResource 中集群级的 EvictionStrategy 字段。这一"VMI 优先、集群兜底"的解析逻辑可以在 pkg/util/migrations/migrations.go 的 VMIEvictionStrategy 函数中直接看到:VMI 的 Spec.EvictionStrategy 非空时直接采用,否则读取 clusterConfig.GetConfig().EvictionStrategy。

四种策略及其语义如下:

驱逐策略 含义
None 不采取任何额外动作,根据 VMI 的 RunStrategy,对应 VirtualMachine 将被重启或关闭
LiveMigrate 虚拟机将被迁移(Live Migration)而不是被关闭
LiveMigrateIfPossible 与 LiveMigrate 相同,但仅当虚拟机可实时迁移(Live-Migratable)时生效;否则行为退化为 None
External 虚拟机将由 PDB 保护,并且在驱逐时设置 vmi.Status.EvacuationNodeName。该策略主要面向 cluster-api-provider-kubevirt(capk):它需要阻止 VMI 被驱逐,同时又能收到"驱逐已被调用"的信号,从而由 capk 控制器自行处理 VMI 的拆除

策略常量在 API 类型定义 staging/src/kubevirt.io/api/core/v1/types.go 中声明,Webhook 与控制器代码中分别以 virtv1.EvictionStrategyLiveMigrate、virtv1.EvictionStrategyLiveMigrateIfPossible、virtv1.EvictionStrategyExternal 引用。

Pod Eviction Webhook:驱逐请求的第一道拦截

部署形态与触发条件

virt-api 提供验证准入 Webhook,拦截集群中所有 Pod 驱逐请求(资源 pods/eviction)。可以通过以下命令查看其实际配置:

kubectl get validatingwebhookconfigurations.admissionregistration.k8s.io virt-api-validator -o yaml

从 pkg/virt-operator/resource/generate/components/webhooks.go 可以看到该 ValidatingWebhookConfiguration 实际注册了两个 Webhook:

  • virt-launcher-eviction-interceptor.kubevirt.io:通过 MatchCondition 表达式 object.metadata.name.startsWith("virt-launcher") 仅匹配 virt-launcher 前缀的 Pod;
  • hotplug-pod-eviction-interceptor.kubevirt.io:通过 object.metadata.name.startsWith("hp-volume-") 仅匹配热插拔磁盘 Pod。

两个 Webhook 都设置了 FailurePolicy 为忽略(ignore),即 kube-api 无法从 Webhook 获得响应时,驱逐请求将被视为已批准,继续交由 PodDisruptionBudget 检查。这样设计是为了避免 Webhook 故障导致整个集群的驱逐能力被阻塞——代价是此时 PDB 仍能保护受保护的 virt-launcher Pod,但撤离动作不会触发。

Webhook 承担两个职责:

  1. 在需要时触发 VMI 撤离;
  2. 阻止与热插拔 Pod 关联的驱逐。

触发撤离的方式:写入 EvacuationNodeName

Webhook 触发撤离的方式,是把 VMI 的 Status.EvacuationNodeName 字段设置为它当前运行的节点名。后续 Evacuation Controller 会据此知道该 VMI 需要被迁移到其他节点。

这一写入动作在 pkg/virt-api/webhooks/validating-webhook/admitters/pod-eviction-admitter.go 的 markVMI 函数中实现:它通过 JSON Patch 给 VMI 添加 /status/evacuationNodeName;如果驱逐请求来自 Descheduler(识别依据是 Eviction 对象上的 requested-by: sigs.k8s.io/descheduler 注解),还会额外写入 kubevirt.io/eviction-source: descheduler 注解。该实现还支持 dry-run:当准入请求或 Eviction 对象携带 DryRun 选项时,标记操作同样以 dry-run 方式执行,不会真正修改 VMI。

准入决策逻辑

Webhook 的决策由 pod-eviction-admitter.go 的 Admit 入口驱动,其处理顺序为:

  1. 若 Pod 不是 virt-launcher,也不是 hp-volume- 热插拔 Pod:直接批准(NewPassingAdmissionResponse);
  2. 若是热插拔 Pod:查找其属主 Pod,若属主是正在运行的 virt-launcher 且关联的 VMI 存在,则拒绝该驱逐(防止热插拔卷在迁移过程中被误删);
  3. 若是 virt-launcher Pod(且 Pod 尚未完成,即未处于 Failed/Succeeded 阶段):读取其 kubevirt.io/domain 注解找到所属 VMI,按驱逐策略与可迁移性决策;
  4. 若 VMI 未配置任何驱逐策略:直接批准。

针对 virt-launcher Pod 的决策矩阵如下:

驱逐策略 VMI 是否可迁移 VMI 是否被标记撤离 Webhook 是否批准 Webhook 响应
None True/False False True 200 - Eviction granted
LiveMigrate True True False 429 - Eviction denied (evacuation was triggered)
LiveMigrate False False False 429 - Eviction denied
LiveMigrateIfPossible True True False 429 - Eviction denied (evacuation was triggered)
LiveMigrateIfPossible False False True 200 - Eviction granted
External True/False True False 429 - Eviction denied (evacuation was triggered)

对应到源码(pod-eviction-admitter.go):

  • LiveMigrate 且 VMI 不可迁移时,直接拒绝并提示 "VMI ... is configured with an eviction strategy but is not live-migratable";
  • LiveMigrate 可迁移时标记撤离并拒绝;
  • LiveMigrateIfPossible 仅在可迁移时标记撤离并拒绝,否则放行;
  • External 总是标记撤离并拒绝;
  • 若 VMI 已被标记撤离,响应变为 "Evacuation in progress: Eviction triggered evacuation of VMI ...";
  • 若请求针对的 Pod 不在 VMI 当前运行的节点上(即目标是迁移的目标 Pod),则拒绝并提示 "Eviction request for target Pod"。

拒绝响应统一使用 HTTP 429(Too Many Requests),见 denied 函数(pod-eviction-admitter.go),并在响应消息中携带原因,便于调用方(如 Descheduler、kubectl drain)判断下一步动作。

已标记撤离后的重复驱逐请求

对于已经处于撤离状态的 VMI,其 virt-launcher Pod 受 PDB 保护(原因见下一节),因此 Webhook 会批准后续针对该 Pod 的驱逐请求:

驱逐策略 VMI 是否可迁移 Webhook 是否批准 Webhook 响应
LiveMigrate True True 200 - Eviction granted
LiveMigrateIfPossible True True 200 - Eviction granted
External True/False True 200 - Eviction granted

Webhook 放行后,驱逐请求会进入 PDB 检查阶段,而 PDB 会将其拦截。

Pod Disruption Budget:驱逐请求的第二道防线

Webhook 批准驱逐后,kube-api 会检查是否存在 PDB 保护该 virt-launcher Pod:

  • 存在 PDB 保护:驱逐请求被拒绝;
  • 不存在 PDB:驱逐请求被批准,Pod 被真正驱逐。

为了让 VMI 的撤离以受控的方式发生,KubeVirt 用 PDB 保护了部分 virt-launcher Pod,从而在"撤离进行中"的窗口期内阻止其被立即销毁。

virt-controller 中的 Disruption Budget Controller(实现于 pkg/virt-controller/watch/drain/disruptionbudget/disruptionbudget.go)负责根据 VMI 的驱逐策略决定是否为 virt-launcher Pod 创建 PDB:

驱逐策略 是否需要 PDB
None False
LiveMigrate True
LiveMigrateIfPossible 仅当 VMI 可迁移时
External True

该控制器监听 VMI、PDB、Pod 与 Migration 四类对象的事件,为符合条件的 VMI 创建以 VMI 为属主(OwnerReference)的 PDB,并在 VMI 删除等场景下清理它们(deletePDB 路径会发出 FailedDelete/SuccessfulDelete 事件)。此外,在迁移过程中,迁移控制器会把保护源 virt-launcher Pod 的 PDB 扩展为同时保护目标 Pod(对应的 PDB 更新事件可参考 pkg/virt-controller/watch/migration/migration.go 中的 SuccessfulUpdatePodDisruptionBudgetReason),确保迁移尚未完成时源、目标 Pod 都不会被驱逐。

注意:即使 Webhook 因故障被忽略(FailurePolicy=Ignore),PDB 依然会兜底保护需要保护的 virt-launcher Pod;但此时撤离不会被触发,VMI 只能停留在原地直到运维介入。

驱逐审批总结:请求方最终会看到什么

综合 Webhook 与 PDB 两道关卡,驱逐请求的发起方最终会观察到以下结果之一:

驱逐策略 VMI 是否可迁移 Webhook 是否批准 PDB 是否允许 最终响应
None True/False True True 200 - Eviction granted
LiveMigrate True True(标记撤离) False 429 - Eviction denied (evacuation was triggered)
LiveMigrate False False False 429 - Eviction denied by webhook
LiveMigrateIfPossible True True(标记撤离) False 429 - Eviction denied (evacuation was triggered)
LiveMigrateIfPossible False False True 200 - Eviction granted
External True/False True(标记撤离) False 429 - Eviction denied (evacuation was triggered)

对于已标记撤离的 VMI 上的后续驱逐请求:

驱逐策略 VMI 是否可迁移 Webhook 是否批准 PDB 是否允许 最终响应
LiveMigrate True True False 429 - Eviction blocked by PDB
LiveMigrateIfPossible True True False 429 - Eviction blocked by PDB
External True/False True False 429 - Eviction blocked by PDB

总结两条核心规律:

  1. 驱逐请求只有在 Webhook 与 PDB 都允许时才会被批准;
  2. 请求方收到 429 时,可以查看(第一条)响应消息来判断 VMI 是否会撤离:消息中包含 "Eviction triggered evacuation of VMI ..." 说明撤离已触发,等待迁移完成后 Pod 才会被真正清理。

实测:kubectl drain 的完整输出过程

以下输出展示了驱逐一个可迁移 VMI(配置 LiveMigrate 策略)的 virt-launcher Pod 时,kubectl drain 的完整交互过程,可以看到"Webhook 拒绝(触发撤离)→ PDB 拦截(撤离进行中)→ 迁移完成 → 驱逐成功"三阶段:

$ kubectl drain node01 --ignore-daemonsets --delete-emptydir-data
...
evicting pod default/virt-launcher-vm-cirros-wn5v4
error when evicting pods/"virt-launcher-vm-cirros-wn5v4" -n "default" (will retry after 5s): admission webhook "virt-launcher-eviction-interceptor.kubevirt.io" denied the request: Eviction triggered evacuation of VMI "default/vm-cirros"
...
evicting pod default/virt-launcher-vm-cirros-wn5v4
error when evicting pods/"virt-launcher-vm-cirros-wn5v4" -n "default" (will retry after 5s): Cannot evict pod as it would violate the pod's disruption budget.
...
evicting pod default/virt-launcher-vm-cirros-wn5v4
pod/virt-launcher-vm-cirros-wn5v4 evicted
node/node01 drained

Evacuation Controller:撤离控制器

virt-controller 中的 Evacuation Controller(实现于 pkg/virt-controller/watch/drain/evacuation/evacuation.go)负责发现需要撤离的 VMI,并尝试把它们迁移到其他节点。它是一个标准的 Kubernetes controller:通过 workqueue 处理 Node / VMI / Migration 三类对象的增删改事件,工作队列名为 virt-controller-evacuation。

其核心处理逻辑(sync 方法)如下:

  1. 读取节点上所有 VMI(通过 node 索引从 informer 中查询);
  2. 判断该节点是否带有 drain 污点(taint,key 来自迁移配置中的 NodeDrainTaintKey):
    • 若节点被标记 drain,则该节点上的所有 VMI 都进入迁移候选(对应 KubeVirt 早期的"节点撤离"机制,源码注释明确标注该方法已废弃,推荐改用节点 drain 触发驱逐);
    • 否则,只筛选出 Status.EvacuationNodeName 已设置、尚未迁移(Status.NodeName != Status.EvacuationNodeName)且没有正在进行的迁移的 VMI;
  3. 通过 filterRunningNonMigratingVMIs 进一步过滤:剔除正在终结、已配置为不可迁移、不具备 VirtualMachineInstanceIsMigratable 条件、已有迁移在进行或仍有多个活跃 Pod(等待上一次迁移的源/目标 Pod 清理)的 VMI;
  4. 为筛选出的候选 VMI 创建 VirtualMachineInstanceMigration 对象,并通过 migrationExpectations 追踪创建结果,成功/失败分别发出 SuccessfulCreate / FailedCreate 事件。

创建的迁移对象由 GenerateNewMigration 生成:GenerateName 固定为 kubevirt-evacuation-,并带有 kubevirt.io/evacuation-migration 注解标识其来源;迁移优先级默认为 PrioritySystemCritical,若驱逐请求来自 Descheduler(携带 kubevirt.io/eviction-source: descheduler 注解)则降为 PrioritySystemMaintenance,从而让节点维护引发的撤离拥有最高调度优先级,而 Descheduler 引发的重平衡撤离相对次之。

配置建议与运行前提

登录后查看全文
kubevirt