Spark Operator中Driver与Executor优先级分离的设计与实践

在Kubernetes环境中运行Spark作业时，资源调度优先级直接影响作业的稳定性。Spark Operator作为管理Spark应用生命周期的关键组件，其优先级控制机制尤为重要。传统配置中，Driver和Executor共享相同的优先级设置，这在生产环境中可能引发关键问题。

核心问题分析

当集群资源紧张时，Kubernetes调度器会根据Pod优先级决定资源分配。若Driver和Executor采用相同优先级，可能出现以下场景：

1. Driver Pod被抢占导致整个Spark应用失败
2. 高优先级Executor持续运行而关键Driver被终止
3. 资源竞争时无法保障核心控制平面的稳定性

这种设计缺陷在金融交易、实时计算等场景下尤为突出，Driver的中断将直接导致业务中断和数据不一致。

技术解决方案

Spark Operator通过独立配置Driver和Executor的priorityClass实现了优先级分离：

spec:
  driver:
    priorityClassName: spark-driver-priority
  executor:
    priorityClassName: spark-executor-priority

该架构设计具有三个技术优势：

1. 故障隔离：Driver获得更高优先级保障，即使Executor被驱逐也不影响作业控制流
2. 资源分级：支持定义多级QoS，例如将Driver设为system-cluster-critical级别
3. 成本优化：无状态Executor可配置为best-effort级别，提高集群利用率

实现原理

在Kubernetes调度层面，该特性通过以下机制实现：

1. Pod模板差异化：Driver和Executor使用独立的podSpec构建器
2. 优先级传播：通过Mutating Webhook确保priorityClassName正确注入
3. 调度保障：与PodDisruptionBudget配合，防止重要Pod被主动驱逐

最佳实践建议

1. 优先级规划：

   • Driver建议使用system-node-critical或类似级别
   • 批处理作业Executor可采用middle优先级
   • 测试环境Executor使用low优先级

2. 配额管理：

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: spark-driver-priority
value: 1000000
globalDefault: false
description: "For spark driver pods only"

3. 监控配置：
   • 通过Prometheus监控PriorityClass使用情况
   • 设置Driver抢占告警阈值
   • 记录Executor被驱逐事件日志

版本兼容性

该特性需要：

• Spark Operator 1.1.0+
• Kubernetes 1.14+（支持PriorityClass稳定版）
• Spark 3.0+（完整支持K8s原生调度）

对于混合部署环境，建议通过nodeAffinity进一步隔离不同优先级的Pod，避免资源竞争。未来版本可能会增加动态优先级调整功能，根据作业阶段自动升降级Executor优先级。