Spark on K8s Operator 中 Pod 创建失败的资源量格式问题解析

问题背景

在使用 Spark on K8s Operator 进行 Spark 作业提交时，用户可能会遇到 Pod 创建失败的问题，错误信息显示资源量格式不符合 Kubernetes 的规范要求。这种问题通常表现为提交作业时出现类似以下的错误信息：

Failure executing: POST at: https://127.0.01:443/api/v1/namespaces/spark-operator/pods.
Message: Pod in version "v1" cannot be handled as a Pod: quantities must match
the regular expression '^([+-]?[0-9.]+)([eEinumkKMGTP]*[-+]?[0-9]*)$'.

问题原因分析

经过深入排查，发现这个问题与 Spark on K8s Operator 处理 emptyDir 卷的方式有关。具体来说，当用户定义 emptyDir 卷时，如果卷名以 "spark-local-dir-" 为前缀且未指定 sizeLimit 参数，Operator 会自动添加一个 sizeLimit 配置项，但其值为 <nil>，这不符合 Kubernetes 对资源量的格式要求。

在 Kubernetes 中，所有资源量（如 CPU 和内存）都必须符合特定的正则表达式格式： ^([+-]?[0-9.]+)([eEinumkKMGTP]*[-+]?[0-9]*)$。当 Operator 尝试提交包含无效资源量格式的 Pod 定义时，Kubernetes API 服务器会拒绝该请求。

解决方案

针对这个问题，目前有两种可行的解决方案：

1. 修改 emptyDir 卷名称：将卷名从 "spark-local-dir-nvme" 改为不以 "spark-local-dir-" 为前缀的名称，例如 "local-nvme"。这样 Operator 不会自动添加 sizeLimit 配置。

volumes:
- emptyDir: {}
  name: local-nvme

2. 显式指定 sizeLimit 参数：为 emptyDir 卷明确设置 sizeLimit 值，避免 Operator 添加无效的 <nil> 值。

volumes:
- emptyDir:
    sizeLimit: 1Gi
  name: spark-local-dir-nvme

技术细节

Spark on K8s Operator 对卷的处理有特殊逻辑：

• 对于名称不以 "spark-local-dir-" 为前缀的卷，Operator 的 webhook 服务器会自动处理其 volumeMounts
• 对于名称以 "spark-local-dir-" 为前缀的卷，Spark 在提交作业时会直接处理这些卷的挂载
• 当 emptyDir 卷未指定 sizeLimit 时，Operator 会添加一个值为 <nil> 的配置，这是问题的根源

最佳实践建议

为了避免类似问题，建议用户：

1. 仔细检查所有资源量配置，确保符合 Kubernetes 的格式要求
2. 在使用 emptyDir 卷时，要么避免使用 "spark-local-dir-" 前缀，要么明确指定 sizeLimit
3. 在升级 Operator 版本时，注意检查卷配置相关的变更
4. 遇到类似问题时，首先检查 Operator 日志和 Spark 作业提交日志，定位具体的无效配置项

总结

Spark on K8s Operator 中的这个资源量格式问题虽然表现不明显，但通过理解 Operator 对卷处理的内部机制，可以有效地找到解决方案。开发团队已经注意到这个问题并提交了修复代码，未来版本中将避免自动添加无效的 sizeLimit 配置。在此之前，用户可以通过上述解决方案绕过这个问题。