Kettle调度监控平台（kettle-scheduler）安装与使用指南

项目介绍

Kettle调度监控平台（简称KS）是一个基于Java开发的Web应用程序，专门用于调度和监控由Kettle客户端创建的作业（Job）和转换（Transformation）。该项目采用Spring + Spring MVC + BeetlSQL框架整合而成，通过调用Kettle的API来执行转换和作业，并使用Quartz框架完成调度工作。

该版本基于Kettle 8.0.0.0-28版本的API开发，支持包括大数据组件（HBase、Hive、HDFS等）在内的所有组件。

环境要求

• 操作系统：Windows或Linux
• Java环境：JDK 1.8
• 数据库：MySQL或Oracle
• Web服务器：Tomcat
• Kettle版本：8.0

安装部署步骤

1. 数据库准备

首先需要创建数据库并导入初始化SQL脚本：

-- 执行项目中的SQL脚本
source kettle-scheduler.sql

2. 项目编译打包

使用Maven进行项目编译和打包：

mvn clean package -DskipTests

编译完成后会在target目录生成war包，将其解压到Tomcat的webapps目录下。

3. 配置文件修改

数据库配置

编辑 WEB-INF/classes/resource/db.properties 文件：

jdbc.driver=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://localhost:3306/kettle-master?serverTimezone=UTC&characterEncoding=utf8
jdbc.username=root
jdbc.password=your_password

Kettle配置

编辑 WEB-INF/classes/resource/kettle.properties 文件：

kettle.home=WEB-INF\\lib
kettle.plugin=/path/to/plugins
kettle.loglevel=detail
kettle.log.file.path=/path/to/logs

4. 环境文件配置

将Kettle 8.0安装目录下的simple-jndi和system文件夹拷贝到Tomcat的bin目录下。

5. Tomcat配置

修改Tomcat的server.xml文件，配置应用上下文：

<Context path="/km" docBase="km" reloadable="true" debug="0" privileged="true">
</Context>

6. 启动应用

启动Tomcat服务器：

# Windows
startup.bat

# Linux
./startup.sh

访问地址：http://localhost:8080/km

系统功能模块

用户登录

默认管理员账号：

• 用户名：admin
• 密码：admin

首页监控

首页显示监控信息概览：

• 总监控任务数
• 监控作业数
• 监控转换数
• 最近执行记录
• 7天内作业和转换监控状况

资源库管理

管理Kettle数据库资源库信息，支持以下操作：

• 新增数据库资源库
• 修改资源库配置
• 删除资源库

任务管理

作业管理

管理作业定时任务，支持作业的新增、修改、删除和启动操作。

转换管理

管理转换定时任务，支持转换的新增、修改、删除和启动操作。

执行策略

管理定时执行策略，支持策略的新增、修改和删除。

监控管理

作业监控

显示运行中作业的监控信息，包括：

• 总作业任务数
• 总执行成功次数
• 总执行失败次数
• 每个作业的成功和失败次数统计

转换监控

显示运行中转换的监控信息，包括：

• 总转换任务数
• 总执行成功次数
• 总执行失败次数
• 每个转换的成功和失败次数统计

用户管理

管理员用户可以管理系统用户，支持用户的新增、编辑和删除操作。

项目结构说明

src/
├── main/
│   ├── java/              # Java源代码
│   │   └── com/zhaxd/     # 核心业务代码
│   ├── resources/         # 配置文件
│   └── webapp/           # Web应用资源
└── test/                 # 测试代码

技术架构

• 前端框架：基于Bootstrap的响应式界面
• 后端框架：Spring + Spring MVC
• 数据持久层：BeetlSQL
• 调度框架：Quartz
• Kettle集成：Kettle 8.0 API

常见问题解决

1. FileNotFoundException: Source './system/karaf' does not exist

   • 解决方法：将Kettle的system文件夹拷贝到Tomcat的bin目录下

2. 数据库驱动问题

   • 解决方法：将对应版本的数据库驱动jar包放到data-integration/lib目录下

3. 资源库连接失败

   • 解决方法：使用Kettle客户端先创建资源库

4. Oracle数据库支持

   • 项目已支持Oracle数据库，配置相应的JDBC连接即可

注意事项

1. 确保Kettle环境变量配置正确
2. 数据库连接参数需要根据实际环境修改
3. 日志路径需要确保有写入权限
4. 插件目录需要包含所需的Kettle插件

通过以上步骤，您可以成功部署和使用Kettle调度监控平台，实现对Kettle作业和转换的统一调度和监控管理。