【亲测免费】 Apache Amoro (incubating) 安装和配置指南

1. 项目基础介绍和主要编程语言

Apache Amoro (incubating) 是一个基于开放数据湖格式的 Lakehouse 管理系统。它旨在通过与 Flink、Spark 和 Trino 等计算引擎的集成，提供插件化和自我管理的功能，从而为用户提供开箱即用的数据仓库体验。Amoro 帮助数据平台或产品轻松构建基础设施解耦、流批融合和湖原生架构。

该项目主要使用 Java 编程语言进行开发。

2. 项目使用的关键技术和框架

Amoro 项目使用了多种关键技术和框架，包括但不限于：

• Apache Flink: 用于流处理和批处理。
• Apache Spark: 用于大规模数据处理。
• Apache Trino (Presto SQL): 用于分布式 SQL 查询。
• Apache Iceberg: 用于数据湖表格式管理。
• Apache Hudi: 用于数据湖表格式管理。
• Apache Paimon: 用于数据湖表格式管理。

3. 项目安装和配置的准备工作和详细安装步骤

3.1 准备工作

在开始安装 Amoro 之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)。
• Java 版本: JDK 8 或 JDK 17 (仅用于 amoro-format-mixed/amoro-mixed-trino 模块)。
• Maven: 用于构建项目。
• Git: 用于克隆项目代码。

3.2 安装步骤

3.2.1 克隆项目代码

首先，使用 Git 克隆 Amoro 项目的代码库：

git clone https://github.com/NetEase/amoro.git
cd amoro

3.2.2 构建项目

使用 Maven 构建项目。以下是一些常用的构建命令：

• 构建所有模块:

  mvn clean package
  

• 跳过测试:

  mvn clean package -DskipTests
  

• 跳过仪表板构建:

  mvn clean package -Pskip-dashboard-build
  

• 禁用磁盘存储:

  mvn clean package -DskipTests -Pno-extented-disk-storage
  

• 指定 Hadoop 版本为 2.x:

  mvn clean package -DskipTests -Phadoop2
  

• 指定 Flink 版本:

  mvn clean package -DskipTests -Dflink-optimizer.flink-version=1.20.0
  

• 指定 Spark 版本:

  mvn clean package -DskipTests -Dspark-optimizer.spark-version=3.3.3
  

3.2.3 配置和启动

构建完成后，您可以根据需要配置和启动 Amoro 的各个模块。具体配置文件和启动命令可以在项目的 docs 目录中找到。

3.3 验证安装

安装完成后，您可以通过运行一些示例代码或使用提供的管理工具（如 WEB UI 和 SQL 命令行）来验证 Amoro 是否正确安装和配置。

4. 总结

通过以上步骤，您应该能够成功安装和配置 Apache Amoro (incubating) 项目。如果您在安装过程中遇到任何问题，可以参考项目的官方文档或在社区中寻求帮助。