Schedulis 开源项目安装与使用指南

1. 项目介绍

Schedulis 是一个基于 LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该系统具备高性能、高可用（去中心化多调度中心和多执行器）和多租户资源隔离等金融级特性。Schedulis 支持常规的 Command Shell 和 Linkis（HadoopMR、Hive、Spark、Sqoop、Python）大数据任务，同时还支持特色的数据检查和工作流之间的依赖任务。它支持完善的告警和工作流执行策略，提供多种类型的参数设置、动态全局变量和简单易用的 UI。

2. 项目快速启动

2.1 环境准备

在开始安装 Schedulis 之前，请确保您的环境满足以下要求：

• Linux 操作系统（建议 CentOS）
• MySQL（版本 5.5+）
• JDK（版本 1.8+）
• Maven（版本 3.3 - 3.8.1）
• Git

2.2 获取项目文件并编译打包

1. 使用 Git 下载 Schedulis 项目文件：

   git clone https://github.com/WeBankFinTech/Schedulis.git
   

2. 下载 jobtypes 插件的依赖和配置：

   wget https://share.weiyun.com/RgAiieMx -O jobtypes.zip
   unzip jobtypes.zip
   

3. 进入项目文件的根目录下，将 jobtypes 文件夹放入项目 maven module（azkaban-jobtype）的根目录，然后使用 Maven 来编译打包整个项目：

   cd Schedulis
   mvn clean install -Dmaven.test.skip=true
   

2.3 初始化数据库

1. 连接 MySQL 服务端：

   mysql -uUserName -pPassword -hIP --default-character-set=utf8
   

2. 创建一个 Database（按需执行）：

   CREATE DATABASE schedulis;
   USE schedulis;
   

3. 初始化 Database：

   SOURCE 脚本存放目录/hdp_schedulis_deploy_script.sql;
   

2.4 启动 Schedulis

1. 进入 ExecutorServer 安装包路径，启动 ExecutorServer：

   cd schedulis_exec
   bin/start-exec.sh
   

2. 进入 WebServer 安装包路径，启动 WebServer：

   cd schedulis_web
   bin/start-web.sh
   

3. 应用案例和最佳实践

3.1 金融级场景下的批量作业调度

Schedulis 在微众银行的金融级场景中得到了广泛应用，用于解决大量批量作业任务的复杂依赖和灵活调度问题。通过 Schedulis，微众银行实现了高效、可靠的工作流任务调度，确保了金融数据处理的准确性和及时性。

3.2 大数据任务调度

Schedulis 支持 HadoopMR、Hive、Spark、Sqoop、Python 等大数据任务的调度，适用于需要处理大规模数据的企业和机构。通过 Schedulis，用户可以轻松管理复杂的数据处理流程，提高数据处理的效率和可靠性。

4. 典型生态项目

4.1 DataSphere Studio

DataSphere Studio 是一个数据应用开发门户，可以将编辑好的工作流一键发布到 Schedulis 进行调度。Schedulis 与 DataSphere Studio 无缝对接，实现了数据应用开发全流程的连贯顺滑用户体验。

4.2 Linkis

Linkis 是一个计算中间件，Schedulis 实现了 Linkis 插件，用于向 Linkis 提交任务。通过 Linkis，Schedulis 可以更好地支持大数据任务的调度，提升系统的整体性能和稳定性。

---

通过以上步骤，您可以快速启动并使用 Schedulis 进行工作流任务调度。希望本指南能帮助您更好地理解和使用 Schedulis 开源项目。