Spark Operator中Yunikorn任务组内存计算问题解析

问题背景

在Kubernetes环境中使用Spark Operator运行PySpark作业时，当配置了spark.executor.pyspark.memory参数时，可能会出现Executor Pod无法调度的问题。这是由于Yunikorn调度器的任务组内存计算未包含PySpark专用内存导致的资源不匹配问题。

问题现象

当用户提交一个包含spark.executor.pyspark.memory配置的SparkApplication时，Executor Pod会一直处于Pending状态。通过检查发现：

1. Executor Pod的实际内存请求包含了三部分：

   • 基础内存（memory）
   • 内存开销（memoryOverhead）
   • PySpark专用内存（spark.executor.pyspark.memory）

2. 但Yunikorn任务组注解中的最小资源（minResources.memory）仅包含前两部分，导致调度器认为Pod请求的资源超过了预留的资源量。

技术原理

Spark Operator在Kubernetes上运行时，会通过Yunikorn调度器进行资源调度。Yunikorn使用任务组（task group）机制来实现Gang Scheduling，确保相关Pod能够同时调度。每个任务组会预先声明所需的最小资源量，调度器根据这个声明来预留资源。

在PySpark场景下，Spark会为Python进程分配额外的内存空间，这部分通过spark.executor.pyspark.memory参数配置。Spark Operator正确地将这部分内存添加到了Pod的资源请求中，但在生成Yunikorn任务组注解时遗漏了这一部分，导致资源声明不匹配。

影响范围

该问题影响以下环境：

• 使用Spark Operator v2.0.0-rc.0版本
• 配置了Yunikorn作为批处理调度器
• 运行PySpark作业并设置了spark.executor.pyspark.memory参数

解决方案

社区已经确认了这个问题，并计划在后续版本中修复。修复方案将确保Yunikorn任务组的内存计算包含所有三个部分：

1. 基础内存
2. 内存开销
3. PySpark专用内存

临时解决方案可以暂时不设置spark.executor.pyspark.memory参数，或者手动增加memoryOverhead来补偿这部分内存需求。

最佳实践

对于PySpark作业的资源规划，建议：

1. 明确区分JVM内存和Python内存需求
2. 合理设置spark.executor.memory和spark.executor.pyspark.memory
3. 预留足够的内存开销（memoryOverhead）
4. 监控实际内存使用情况，根据需求调整配置

总结

这个问题展示了在复杂调度环境中资源计算一致性的重要性。Spark Operator需要确保在所有资源声明点（Pod请求、调度器注解等）使用相同的计算逻辑，才能保证调度的正确性。对于使用PySpark的用户，需要特别注意Python进程特有的内存需求配置。