Apache Gobblin 技术文档

1. 安装指南

环境要求

• Java >= 1.8
• Maven 版本 3.5.3（如果启用测试）

下载 Gradle Wrapper

如果您打算从源码构建 Gobblin，请运行以下命令以下载 gradle-wrapper.jar 到 gradle/wrapper 目录（将 URL 中的 GOBBLIN_VERSION 替换为您下载的版本）：

wget --no-check-certificate -P gradle/wrapper https://github.com/apache/gobblin/raw/${GOBBLIN_VERSION}/gradle/wrapper/gradle-wrapper.jar

或者：

curl --insecure -L https://github.com/apache/gobblin/raw/${GOBBLIN_VERSION}/gradle/wrapper/gradle-wrapper.jar > gradle/wrapper/gradle-wrapper.jar

也可以手动下载：https://github.com/apache/gobblin/blob/${GOBBLIN_VERSION}/gradle/wrapper/gradle-wrapper.jar，确保下载到 gradle/wrapper 目录。

Apache RAT（Release Audit Tool）使用

1. 将存档文件解压到本地目录。
2. 运行 ./gradlew rat。报告将生成在 build/rat/rat-report.html 下。

构建分发

1. 将存档文件解压到本地目录。

2. 跳过测试并构建分发： 运行 ./gradlew build -x findbugsMain -x test -x rat -x checkstyleMain。 分发将创建在 build/gobblin-distribution/distributions 目录。

3. 运行测试并构建分发（需要 Maven）： 运行 ./gradlew build。 分发将创建在 build/gobblin-distribution/distributions 目录。

2. 项目使用说明

Apache Gobblin 是一个高度可扩展的数据管理解决方案，适用于异构数据生态系统中的结构化和字节导向数据。其主要功能包括：

• 从各种源和接收器导入和导出数据到数据湖内外。
• 数据湖内部的数据组织（例如，压缩、分区、去重）。
• 数据湖内部的数据生命周期管理（例如，数据保留）。
• 跨生态系统的数据合规管理（例如，细粒度数据删除）。

Gobblin 在 LinkedIn、PayPal、Verizon 等公司生产环境中已经经过大规模测试。

3. 项目 API 使用文档

具体 API 使用文档请参考官方文档中的相关章节，此处不进行详细说明。

4. 项目安装方式

请参考上述安装指南进行项目安装。安装完成后，您可以根据官方文档提供的指南，开始使用 Apache Gobblin 进行数据处理和管理工作。