zdh_web 开源项目教程

项目介绍

zdh_web 是一个大数据采集和抽取平台，它是 zdh 系列服务的可视化管理平台。该平台包含数据采集、调度、权限、审批流、私域营销等多个模块。zdh_web 支持二次开发，自带简单调度工具，可配置定时任务和时间序列任务，支持多种数据处理和调度方式，如 SHELL 命令、SHELL 脚本、JDBC 查询调度、HDFS 查询调度等。

项目快速启动

环境准备

• Java 8 或更高版本
• Maven
• Git

克隆项目

git clone https://github.com/zhaoyachao/zdh_web.git
cd zdh_web

构建项目

mvn clean install

启动项目

java -jar target/zdh_web.jar

项目启动后，可以通过浏览器访问 http://localhost:8080 进入管理界面。

应用案例和最佳实践

数据采集

zdh_web 支持多种数据源的采集，包括本地文件上传、HDFS、JDBC 等。以下是一个简单的 JDBC 数据采集示例：

1. 在管理界面中创建一个新的数据采集任务。
2. 配置数据源为 JDBC，并填写相应的数据库连接信息。
3. 编写 SQL 查询语句，选择需要采集的数据。
4. 配置调度计划，设置任务的执行时间和频率。
5. 启动任务，系统将按照配置自动执行数据采集。

数据处理

zdh_web 支持复杂的数据处理任务，包括数据清洗、转换和加载。以下是一个简单的数据清洗示例：

1. 在管理界面中创建一个新的数据处理任务。
2. 选择需要处理的数据源和目标数据源。
3. 编写数据处理脚本，使用 Spark 进行数据清洗和转换。
4. 配置调度计划，设置任务的执行时间和频率。
5. 启动任务，系统将按照配置自动执行数据处理。

典型生态项目

zdh_server

zdh_server 是 zdh_web 的后端数据 ETL 处理部分，与 zdh_web 配合使用可以实现完整的数据采集和处理流程。项目地址：https://github.com/zhaoyachao/zdh_server

Spark

zdh_web 使用 Spark 作为数据 ETL 引擎，支持 Hadoop 和 Hive 的可选部署。Spark 是一个快速、通用的大数据处理引擎，适用于各种数据处理场景。

Spring Boot

zdh_web 的后端使用 Spring Boot 框架，提供了快速开发和部署的能力。Spring Boot 是一个用于创建独立的、生产级别的 Spring 应用程序的框架。

Bootstrap

zdh_web 的前端使用 Bootstrap 框架，提供了响应式的用户界面设计。Bootstrap 是一个流行的前端开发框架，适用于快速构建现代化的网站和应用程序。

通过以上模块的介绍和实践，您可以快速上手并深入了解 zdh_web 开源项目的使用和开发。