Apache YuniKorn 核心调度器使用指南

项目介绍

Apache YuniKorn 是一个开源的、多租户、多框架的资源调度器，专为云原生环境设计，支持 Kubernetes 和 Apache YARN。YuniKorn 的核心调度器（yunikorn-core）是其调度逻辑的核心部分，负责收集资源信息并进行容器分配决策。

项目快速启动

环境准备

确保你已经安装了以下工具：

• Kubernetes 集群
• kubectl 命令行工具
• Git

克隆项目

首先，克隆 YuniKorn 核心调度器的代码仓库：

git clone https://github.com/apache/yunikorn-core.git
cd yunikorn-core

部署 YuniKorn

使用 Helm 部署 YuniKorn 到 Kubernetes 集群：

# 添加 YuniKorn Helm 仓库
helm repo add yunikorn https://apache.github.io/yunikorn-release

# 更新 Helm 仓库
helm repo update

# 安装 YuniKorn
helm install yunikorn yunikorn/yunikorn

访问 Web UI

通过端口转发访问 YuniKorn 的 Web UI：

kubectl port-forward svc/yunikorn-service 9889:9889 -n yunikorn

打开浏览器，访问 http://localhost:9889 即可看到 YuniKorn 的 Web UI。

应用案例和最佳实践

案例一：Spark 任务调度

YuniKorn 支持 Spark 任务的 Gang 调度，确保所有任务实例同时启动，避免部分任务因资源不足而等待。以下是一个简单的 Spark 任务调度配置示例：

apiVersion: v1
kind: Pod
metadata:
  name: spark-driver
  labels:
    applicationId: spark-app
spec:
  schedulerName: yunikorn
  containers:
  - name: spark-driver
    image: spark:latest
    command: ["spark-submit"]
    args: ["--master", "k8s://https://kubernetes.default.svc", "--deploy-mode", "cluster", "your-spark-job.jar"]

最佳实践

• 资源分配策略：根据应用的资源需求和集群的资源状况，合理配置资源分配策略。
• 多租户管理：利用 YuniKorn 的多租户特性，为不同用户或团队分配独立的资源池。
• 监控与日志：集成 Prometheus 和 Grafana，实时监控调度器的性能和资源使用情况。

典型生态项目

Kubernetes Shim

YuniKorn 的 Kubernetes Shim 是一个适配器，用于将 Kubernetes 的资源管理接口与 YuniKorn 核心调度器对接。它使得 YuniKorn 能够在 Kubernetes 环境中进行资源调度和管理。

YuniKorn Web UI

YuniKorn Web UI 提供了一个集中的视图，用于查看集群资源容量、利用率以及所有应用的信息。通过 Web UI，管理员可以直观地监控和管理集群资源。

Prometheus 和 Grafana

YuniKorn 支持通过 Prometheus 暴露调度指标，并结合 Grafana 进行可视化展示。这有助于实时监控调度器的性能和资源使用情况，及时发现和解决问题。

通过以上模块的介绍和实践，你可以快速上手并充分利用 Apache YuniKorn 核心调度器的强大功能，优化你的云原生环境中的资源调度。