Apache Oozie 使用教程

1、项目介绍

Apache Oozie 是一个用于 Hadoop 生态系统的工作流调度系统。它允许用户定义复杂的任务流程，并将这些流程作为工作流执行。Oozie 支持多种类型的 Hadoop 作业，如 Java MapReduce、Streaming MapReduce、Pig、Hive、Sqoop 和 Distcp，以及系统特定的作业，如 Java 程序和 shell 脚本。

2、项目快速启动

安装 Oozie

首先，克隆 Oozie 项目仓库：

git clone https://github.com/apache/oozie.git
cd oozie

构建 Oozie

使用 Maven 构建 Oozie：

mvn clean package -DskipTests

配置 Oozie

解压构建好的包：

tar -zxvf oozie-distro/target/oozie-*-distro.tar.gz -C /path/to/install
cd /path/to/install/oozie-*

配置 Oozie 服务器：

bin/oozie-setup.sh prepare-war
bin/ooziedb.sh create -sqlfile oozie.sql -run

启动 Oozie

启动 Oozie 服务器：

bin/oozied.sh start

3、应用案例和最佳实践

调度 Shell 脚本

1. 解压官方案例模板：

   tar -zxvf oozie-examples.tar.gz
   

2. 创建 oozie-apps 目录：

   mkdir oozie-apps
   

3. 拷贝任务模板到 oozie-apps：

   cp -r examples/apps/shell/ oozie-apps/
   

4. 提交任务：

   bin/oozie job -config oozie-apps/shell/job.properties -run
   

调度 MapReduce 任务

1. 创建 MapReduce 任务配置文件：

   <workflow-app xmlns="uri:oozie:workflow:0.5" name="map-reduce-wf">
       <start to="mr-node"/>
       <action name="mr-node">
           <map-reduce>
               <job-tracker>${jobTracker}</job-tracker>
               <name-node>${nameNode}</name-node>
               <configuration>
                   <property>
                       <name>mapred.mapper.class</name>
                       <value>org.apache.hadoop.examples.WordCount.TokenizerMapper</value>
                   </property>
                   <property>
                       <name>mapred.reducer.class</name>
                       <value>org.apache.hadoop.examples.WordCount.IntSumReducer</value>
                   </property>
               </configuration>
           </map-reduce>
           <ok to="end"/>
           <error to="fail"/>
       </action>
       <kill name="fail">
           <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
       </kill>
       <end name="end"/>
   </workflow-app>
   

2. 提交任务：

   bin/oozie job -config job.properties -run
   

4、典型生态项目

Hadoop

Oozie 与 Hadoop 紧密集成，支持 Hadoop MapReduce、Pig、Hive 等多种作业类型。

Hive

Hive 是基于 Hadoop 的数据仓库工具，Oozie 可以调度 Hive 脚本执行。

Pig

Pig 是一个高级数据处理平台，Oozie 可以调度 Pig 脚本执行。

Sqoop

Sqoop 用于在 Hadoop 和关系数据库之间传输数据，Oozie 可以调度 Sqoop 作业。

通过以上步骤，您可以快速启动并使用 Apache Oozie 进行任务调度，结合实际应用案例和最佳实践，更好地管理和调度 Hadoop 生态系统中的任务。