KubeVirt 驱逐请求(Eviction Requests)处理机制全解析:从拦截 Webhook 到 PDB 保护再到 VMI 迁移
KubeVirt 驱逐请求(Eviction Requests)处理机制全解析:从拦截 Webhook 到 PDB 保护再到 VMI 迁移
KubeVirt 的虚拟机运行在 virt-launcher Pod 内,因此 Kubernetes 原生的 API 驱逐(API-initiated Eviction)机制会直接作用于虚拟机宿主 Pod,而虚拟机的"驱逐"远比普通 Pod 复杂。本文以 docs/handling-eviction-requests.md 为主线,系统讲解 KubeVirt 处理驱逐请求的完整链路:四种驱逐策略(Eviction Strategy)、virt-api 的 Pod 驱逐拦截 Webhook、virt-controller 的 Disruption Budget 与 Evacuation 控制器,并结合仓库源码给出底层实现证据。读完本文,你将能够理解 kubectl drain 或 Descheduler 触发驱逐时 KubeVirt 内部发生了什么,以及如何为 VMI 配置正确的驱逐策略以获得"先迁移、后销毁"的优雅处理。
背景:为什么虚拟机的驱逐比普通 Pod 更复杂
Kubernetes 的 API 支持 API-initiated Eviction(即通过 Eviction 子资源编程式驱逐 Pod),这一 API 被多种工具使用,典型的包括:
kubectl drain:节点维护时驱逐节点上所有 Pod;- Descheduler(Kubernetes SIG 出品的集群级调度优化工具):根据调度策略主动驱逐 Pod 以优化资源分布。
由于 KubeVirt 的虚拟机运行在 virt-launcher Pod 之中,它们天然会受到 Kubernetes 驱逐机制的影响。但虚拟机的驱逐远比普通 Pod 复杂:直接删除 virt-launcher Pod 意味着虚拟机实例(VMI)随之被销毁,而 KubeVirt 更期望在可能的情况下先把虚拟机迁移到其他节点再回收 Pod。KubeVirt 用 Evacuation(撤离) 一词专指"因 virt-launcher Pod 被驱逐而触发的 VMI 迁移"。
为了在 Kubernetes 原生驱逐语义之上叠加"先迁移后销毁"的控制能力,KubeVirt 组合了三个核心组件:
- Pod Eviction Webhook(virt-api 提供的验证准入 Webhook):拦截集群内所有 Pod 驱逐请求,按 VMI 的驱逐策略决定批准或拒绝,并在需要时把 VMI 标记为待撤离;
- Pod Disruption Budget(PDB)(virt-controller 的 Disruption Budget Controller 管理):在 Webhook 放行后作为第二道防线,阻止受保护的
virt-launcherPod 被立即销毁; - Evacuation Controller(virt-controller 内部):发现被标记为待撤离的 VMI 后为其创建
VirtualMachineInstanceMigration,完成跨节点迁移。
驱逐策略(Eviction Strategies):VMI 与集群两级配置
每个 VirtualMachineInstance 可以配置四种驱逐策略之一。策略定义在 VMI 的 spec 中;如果 VMI 自身未设置,则回退到 KubeVirt CustomResource 中集群级的 EvictionStrategy 字段。这一"VMI 优先、集群兜底"的解析逻辑可以在 pkg/util/migrations/migrations.go 的 VMIEvictionStrategy 函数中直接看到:VMI 的 Spec.EvictionStrategy 非空时直接采用,否则读取 clusterConfig.GetConfig().EvictionStrategy。
四种策略及其语义如下:
| 驱逐策略 | 含义 |
|---|---|
| None | 不采取任何额外动作,根据 VMI 的 RunStrategy,对应 VirtualMachine 将被重启或关闭 |
| LiveMigrate | 虚拟机将被迁移(Live Migration)而不是被关闭 |
| LiveMigrateIfPossible | 与 LiveMigrate 相同,但仅当虚拟机可实时迁移(Live-Migratable)时生效;否则行为退化为 None |
| External | 虚拟机将由 PDB 保护,并且在驱逐时设置 vmi.Status.EvacuationNodeName。该策略主要面向 cluster-api-provider-kubevirt(capk):它需要阻止 VMI 被驱逐,同时又能收到"驱逐已被调用"的信号,从而由 capk 控制器自行处理 VMI 的拆除 |
策略常量在 API 类型定义 staging/src/kubevirt.io/api/core/v1/types.go 中声明,Webhook 与控制器代码中分别以 virtv1.EvictionStrategyLiveMigrate、virtv1.EvictionStrategyLiveMigrateIfPossible、virtv1.EvictionStrategyExternal 引用。
Pod Eviction Webhook:驱逐请求的第一道拦截
部署形态与触发条件
virt-api 提供验证准入 Webhook,拦截集群中所有 Pod 驱逐请求(资源 pods/eviction)。可以通过以下命令查看其实际配置:
kubectl get validatingwebhookconfigurations.admissionregistration.k8s.io virt-api-validator -o yaml
从 pkg/virt-operator/resource/generate/components/webhooks.go 可以看到该 ValidatingWebhookConfiguration 实际注册了两个 Webhook:
virt-launcher-eviction-interceptor.kubevirt.io:通过 MatchCondition 表达式object.metadata.name.startsWith("virt-launcher")仅匹配virt-launcher前缀的 Pod;hotplug-pod-eviction-interceptor.kubevirt.io:通过object.metadata.name.startsWith("hp-volume-")仅匹配热插拔磁盘 Pod。
两个 Webhook 都设置了 FailurePolicy 为忽略(ignore),即 kube-api 无法从 Webhook 获得响应时,驱逐请求将被视为已批准,继续交由 PodDisruptionBudget 检查。这样设计是为了避免 Webhook 故障导致整个集群的驱逐能力被阻塞——代价是此时 PDB 仍能保护受保护的 virt-launcher Pod,但撤离动作不会触发。
Webhook 承担两个职责:
- 在需要时触发 VMI 撤离;
- 阻止与热插拔 Pod 关联的驱逐。
触发撤离的方式:写入 EvacuationNodeName
Webhook 触发撤离的方式,是把 VMI 的 Status.EvacuationNodeName 字段设置为它当前运行的节点名。后续 Evacuation Controller 会据此知道该 VMI 需要被迁移到其他节点。
这一写入动作在 pkg/virt-api/webhooks/validating-webhook/admitters/pod-eviction-admitter.go 的 markVMI 函数中实现:它通过 JSON Patch 给 VMI 添加 /status/evacuationNodeName;如果驱逐请求来自 Descheduler(识别依据是 Eviction 对象上的 requested-by: sigs.k8s.io/descheduler 注解),还会额外写入 kubevirt.io/eviction-source: descheduler 注解。该实现还支持 dry-run:当准入请求或 Eviction 对象携带 DryRun 选项时,标记操作同样以 dry-run 方式执行,不会真正修改 VMI。
准入决策逻辑
Webhook 的决策由 pod-eviction-admitter.go 的 Admit 入口驱动,其处理顺序为:
- 若 Pod 不是
virt-launcher,也不是hp-volume-热插拔 Pod:直接批准(NewPassingAdmissionResponse); - 若是热插拔 Pod:查找其属主 Pod,若属主是正在运行的
virt-launcher且关联的 VMI 存在,则拒绝该驱逐(防止热插拔卷在迁移过程中被误删); - 若是
virt-launcherPod(且 Pod 尚未完成,即未处于 Failed/Succeeded 阶段):读取其kubevirt.io/domain注解找到所属 VMI,按驱逐策略与可迁移性决策; - 若 VMI 未配置任何驱逐策略:直接批准。
针对 virt-launcher Pod 的决策矩阵如下:
| 驱逐策略 | VMI 是否可迁移 | VMI 是否被标记撤离 | Webhook 是否批准 | Webhook 响应 |
|---|---|---|---|---|
| None | True/False | False | True | 200 - Eviction granted |
| LiveMigrate | True | True | False | 429 - Eviction denied (evacuation was triggered) |
| LiveMigrate | False | False | False | 429 - Eviction denied |
| LiveMigrateIfPossible | True | True | False | 429 - Eviction denied (evacuation was triggered) |
| LiveMigrateIfPossible | False | False | True | 200 - Eviction granted |
| External | True/False | True | False | 429 - Eviction denied (evacuation was triggered) |
对应到源码(pod-eviction-admitter.go):
LiveMigrate且 VMI 不可迁移时,直接拒绝并提示 "VMI ... is configured with an eviction strategy but is not live-migratable";LiveMigrate可迁移时标记撤离并拒绝;LiveMigrateIfPossible仅在可迁移时标记撤离并拒绝,否则放行;External总是标记撤离并拒绝;- 若 VMI 已被标记撤离,响应变为 "Evacuation in progress: Eviction triggered evacuation of VMI ...";
- 若请求针对的 Pod 不在 VMI 当前运行的节点上(即目标是迁移的目标 Pod),则拒绝并提示 "Eviction request for target Pod"。
拒绝响应统一使用 HTTP 429(Too Many Requests),见 denied 函数(pod-eviction-admitter.go),并在响应消息中携带原因,便于调用方(如 Descheduler、kubectl drain)判断下一步动作。
已标记撤离后的重复驱逐请求
对于已经处于撤离状态的 VMI,其 virt-launcher Pod 受 PDB 保护(原因见下一节),因此 Webhook 会批准后续针对该 Pod 的驱逐请求:
| 驱逐策略 | VMI 是否可迁移 | Webhook 是否批准 | Webhook 响应 |
|---|---|---|---|
| LiveMigrate | True | True | 200 - Eviction granted |
| LiveMigrateIfPossible | True | True | 200 - Eviction granted |
| External | True/False | True | 200 - Eviction granted |
Webhook 放行后,驱逐请求会进入 PDB 检查阶段,而 PDB 会将其拦截。
Pod Disruption Budget:驱逐请求的第二道防线
Webhook 批准驱逐后,kube-api 会检查是否存在 PDB 保护该 virt-launcher Pod:
- 存在 PDB 保护:驱逐请求被拒绝;
- 不存在 PDB:驱逐请求被批准,Pod 被真正驱逐。
为了让 VMI 的撤离以受控的方式发生,KubeVirt 用 PDB 保护了部分 virt-launcher Pod,从而在"撤离进行中"的窗口期内阻止其被立即销毁。
virt-controller 中的 Disruption Budget Controller(实现于 pkg/virt-controller/watch/drain/disruptionbudget/disruptionbudget.go)负责根据 VMI 的驱逐策略决定是否为 virt-launcher Pod 创建 PDB:
| 驱逐策略 | 是否需要 PDB |
|---|---|
| None | False |
| LiveMigrate | True |
| LiveMigrateIfPossible | 仅当 VMI 可迁移时 |
| External | True |
该控制器监听 VMI、PDB、Pod 与 Migration 四类对象的事件,为符合条件的 VMI 创建以 VMI 为属主(OwnerReference)的 PDB,并在 VMI 删除等场景下清理它们(deletePDB 路径会发出 FailedDelete/SuccessfulDelete 事件)。此外,在迁移过程中,迁移控制器会把保护源 virt-launcher Pod 的 PDB 扩展为同时保护目标 Pod(对应的 PDB 更新事件可参考 pkg/virt-controller/watch/migration/migration.go 中的 SuccessfulUpdatePodDisruptionBudgetReason),确保迁移尚未完成时源、目标 Pod 都不会被驱逐。
注意:即使 Webhook 因故障被忽略(FailurePolicy=Ignore),PDB 依然会兜底保护需要保护的
virt-launcherPod;但此时撤离不会被触发,VMI 只能停留在原地直到运维介入。
驱逐审批总结:请求方最终会看到什么
综合 Webhook 与 PDB 两道关卡,驱逐请求的发起方最终会观察到以下结果之一:
| 驱逐策略 | VMI 是否可迁移 | Webhook 是否批准 | PDB 是否允许 | 最终响应 |
|---|---|---|---|---|
| None | True/False | True | True | 200 - Eviction granted |
| LiveMigrate | True | True(标记撤离) | False | 429 - Eviction denied (evacuation was triggered) |
| LiveMigrate | False | False | False | 429 - Eviction denied by webhook |
| LiveMigrateIfPossible | True | True(标记撤离) | False | 429 - Eviction denied (evacuation was triggered) |
| LiveMigrateIfPossible | False | False | True | 200 - Eviction granted |
| External | True/False | True(标记撤离) | False | 429 - Eviction denied (evacuation was triggered) |
对于已标记撤离的 VMI 上的后续驱逐请求:
| 驱逐策略 | VMI 是否可迁移 | Webhook 是否批准 | PDB 是否允许 | 最终响应 |
|---|---|---|---|---|
| LiveMigrate | True | True | False | 429 - Eviction blocked by PDB |
| LiveMigrateIfPossible | True | True | False | 429 - Eviction blocked by PDB |
| External | True/False | True | False | 429 - Eviction blocked by PDB |
总结两条核心规律:
- 驱逐请求只有在 Webhook 与 PDB 都允许时才会被批准;
- 请求方收到 429 时,可以查看(第一条)响应消息来判断 VMI 是否会撤离:消息中包含 "Eviction triggered evacuation of VMI ..." 说明撤离已触发,等待迁移完成后 Pod 才会被真正清理。
实测:kubectl drain 的完整输出过程
以下输出展示了驱逐一个可迁移 VMI(配置 LiveMigrate 策略)的 virt-launcher Pod 时,kubectl drain 的完整交互过程,可以看到"Webhook 拒绝(触发撤离)→ PDB 拦截(撤离进行中)→ 迁移完成 → 驱逐成功"三阶段:
$ kubectl drain node01 --ignore-daemonsets --delete-emptydir-data
...
evicting pod default/virt-launcher-vm-cirros-wn5v4
error when evicting pods/"virt-launcher-vm-cirros-wn5v4" -n "default" (will retry after 5s): admission webhook "virt-launcher-eviction-interceptor.kubevirt.io" denied the request: Eviction triggered evacuation of VMI "default/vm-cirros"
...
evicting pod default/virt-launcher-vm-cirros-wn5v4
error when evicting pods/"virt-launcher-vm-cirros-wn5v4" -n "default" (will retry after 5s): Cannot evict pod as it would violate the pod's disruption budget.
...
evicting pod default/virt-launcher-vm-cirros-wn5v4
pod/virt-launcher-vm-cirros-wn5v4 evicted
node/node01 drained
Evacuation Controller:撤离控制器
virt-controller 中的 Evacuation Controller(实现于 pkg/virt-controller/watch/drain/evacuation/evacuation.go)负责发现需要撤离的 VMI,并尝试把它们迁移到其他节点。它是一个标准的 Kubernetes controller:通过 workqueue 处理 Node / VMI / Migration 三类对象的增删改事件,工作队列名为 virt-controller-evacuation。
其核心处理逻辑(sync 方法)如下:
- 读取节点上所有 VMI(通过
node索引从 informer 中查询); - 判断该节点是否带有 drain 污点(taint,key 来自迁移配置中的
NodeDrainTaintKey):- 若节点被标记 drain,则该节点上的所有 VMI 都进入迁移候选(对应 KubeVirt 早期的"节点撤离"机制,源码注释明确标注该方法已废弃,推荐改用节点 drain 触发驱逐);
- 否则,只筛选出
Status.EvacuationNodeName已设置、尚未迁移(Status.NodeName != Status.EvacuationNodeName)且没有正在进行的迁移的 VMI;
- 通过
filterRunningNonMigratingVMIs进一步过滤:剔除正在终结、已配置为不可迁移、不具备VirtualMachineInstanceIsMigratable条件、已有迁移在进行或仍有多个活跃 Pod(等待上一次迁移的源/目标 Pod 清理)的 VMI; - 为筛选出的候选 VMI 创建
VirtualMachineInstanceMigration对象,并通过migrationExpectations追踪创建结果,成功/失败分别发出SuccessfulCreate/FailedCreate事件。
创建的迁移对象由 GenerateNewMigration 生成:GenerateName 固定为 kubevirt-evacuation-,并带有 kubevirt.io/evacuation-migration 注解标识其来源;迁移优先级默认为 PrioritySystemCritical,若驱逐请求来自 Descheduler(携带 kubevirt.io/eviction-source: descheduler 注解)则降为 PrioritySystemMaintenance,从而让节点维护引发的撤离拥有最高调度优先级,而 Descheduler 引发的重平衡撤离相对次之。
配置建议与运行前提
- 驱逐策略可以在 VMI 的
spec.evictionStrategy字段设置,也可以在整个 KubeVirt CR 中设置集群默认值(未配置的 VMI 将回退到集群级值);两种来源的解析顺序见 pkg/util/migrations/migrations.go。 - 期望"节点维护时虚拟机平滑迁移"的场景,推荐为工作负载配置
LiveMigrate;不确定虚拟机是否可迁移时,LiveMigrateIfPossible可在保证"不可迁移则原地保留"的前提下尽量迁移。 - 依赖外部控制器接管 VMI 生命周期(如 capk 集成)时使用
External:PDB 会阻止驱逐,同时Status.EvacuationNodeName会通知外部控制器采取行动。 - 上述所有行为均以当前仓库代码为准:Webhook 行为验证可见 pkg/virt-api/webhooks/validating-webhook/admitters/pod-eviction-admitter_test.go,PDB 与撤离控制器的测试分别位于 pkg/virt-controller/watch/drain/disruptionbudget/disruptionbudget_test.go 与 pkg/virt-controller/watch/drain/evacuation/evacuation_test.go,可作为深入阅读与二次开发的起点。