Apache YuniKorn 核心组件安装与使用教程

1. 项目目录结构及介绍

Apache YuniKorn 的核心组件 yunikorn-core 是一个无平台依赖的调度器，负责处理资源分配请求。以下是该项目的目录结构简介：

yunikorn-core/
├── Makefile        # 构建脚本
├── README.md       # 项目说明文件
├── conf/           # 配置文件目录
│   └── config.properties.sample  # 示例配置文件
├── doc/            # 文档目录
├── src/             # 源代码目录
│   ├── main/        
│   │   ├── assembly/     # 组件打包相关
│   │   ├── java/         # Java源代码
│   │   └── resources/    # 资源文件
└── ...              # 其他辅助文件和脚本

• Makefile: 用于构建项目的脚本。
• README.md: 项目的基本信息和指南。
• conf/: 包含配置文件，config.properties.sample 是一个示例配置文件。
• src/: 项目的源代码，包括 main/java 和 main/resources。
  • main/assembly: 组件打包相关的配置。
  • main/java: Java 源码实现。
  • main/resources: 存放项目运行所需的资源。

2. 项目启动文件介绍

由于该项目是作为其他系统的组件（如 YARN 或 Kubernetes）的一部分运行，没有单独的启动文件。在实际部署中，你需要通过 YARN 或 Kubernetes 的适配器（shim）来启动 YuniKorn。这些适配器可以通过以下方式集成：

• 对于 YARN：配置 YARN 环境以使用 YuniKorn 作为其调度器。
• 对于 Kubernetes：安装 YuniKorn 的 Kubernetes shim，并将其作为 Kubernetes 中的一个部署或 DaemonSet 运行。

具体的启动步骤通常涉及创建和提交相应的资源配置文件（例如 YARN 的配置或 Kubernetes 的 YAML 文件），然后由对应平台的服务管理工具（如 yarn start 或 kubectl apply）来执行。

3. 项目配置文件介绍

主要配置文件位于 yunikorn-core/conf/config.properties。以下是一些关键配置参数及其作用：

• scheduler.address: 调度器服务监听的地址。
• scheduler.port: 调度器服务监听的端口。
• application.priority.base: 应用程序的基础优先级，所有应用将基于此值分配优先级。
• scheduler.logdir: 调度器的日志目录路径。
• scheduler.metrics.exporter.type: 指定用于导出指标的类型，如 Prometheus。

请注意，实际部署时应根据具体需求和环境调整配置。yunikorn-core/conf/config.properties.sample 只是一个样例，你需要根据实际情况修改成生产配置，并将其复制到你的 YuniKorn 实例对应的配置目录下。

详细配置选项可以在项目文档中找到，确保正确配置以满足你的集群需求。

使用注意事项

• 在生产环境中，务必从 config.properties.sample 复制一份并对其进行适当修改，避免使用样本文件直接运行。
• 配置更改可能需要重启 YuniKorn 服务才能生效。
• 查阅官方文档以获取详细的配置指导和最佳实践。