HackReduce 项目技术文档

1. 安装指南

前提条件

在开始安装和使用 HackReduce 项目之前，请确保您的系统满足以下前提条件：

• Git：用于克隆项目代码。
• Java 1.6：项目代码基于 Java 1.6 编写。
• 构建工具：您可以选择使用以下任一工具进行项目构建：
  • Gradle：推荐使用 Gradle 进行构建。
  • Ant：也可以使用 Ant 进行构建。

安装步骤

1. 克隆项目代码：

   git clone git://github.com/hackreduce/Hackathon.git
   

   克隆完成后，您可以定期运行 git pull 命令以更新代码。

2. 进入项目目录：

   cd Hackathon
   

3. 构建项目：

   • 如果您使用 Gradle：

     gradle
     

   • 如果您使用 Ant：

     ant
     

2. 项目的使用说明

本地运行示例作业

在项目构建完成后，您可以运行以下命令来执行示例作业。作业完成后，输出结果将保存在 /tmp/* 目录下。

示例作业列表

• Bixi：

  java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.bixi.RecordCounter datasets/bixi /tmp/bixi_recordcounts
  

• NASDAQ：

  java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.stockexchange.HighestDividend datasets/nasdaq/dividends /tmp/nasdaq_dividends
  

• NYSE：

  java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.stockexchange.HighestDividend datasets/nyse/dividends /tmp/nyse_dividends
  

• Flights：

  java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.flights.RecordCounter datasets/flights /tmp/flights_recordcounts
  

• Freebase：

  java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.freebase.TopicCounter datasets/freebase/topics /tmp/fb_topiccounts
  

• Wikipedia：

  java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.wikipedia.RecordCounter datasets/wikipedia /tmp/wikipedia_recordcounts
  

流式处理示例

• Python：

  java -classpath ".:lib/*" org.apache.hadoop.streaming.HadoopStreaming -input datasets/nasdaq/daily_prices/ -output /tmp/py_streaming_count -mapper streaming/nasdaq_counter.py -reducer aggregate
  

• Ruby：

  java -classpath ".:lib/*" org.apache.hadoop.streaming.HadoopStreaming -input datasets/nasdaq/daily_prices/ -output /tmp/rb_streaming_count -mapper streaming/nasdaq_counter.rb -reducer aggregate
  

3. 项目API使用文档

API 示例

项目中的 API 主要用于执行 MapReduce 作业。以下是一些常用的 API 示例：

• RecordCounter：用于统计记录数量。

  org.hackreduce.examples.bixi.RecordCounter
  

• HighestDividend：用于计算最高股息。

  org.hackreduce.examples.stockexchange.HighestDividend
  

• MarketCapitalization：用于计算市场资本化。

  org.hackreduce.examples.stockexchange.MarketCapitalization
  

自定义作业

您可以根据项目提供的示例代码，编写自己的 MapReduce 作业。作业的输入数据和输出路径可以根据需要进行调整。

4. 项目安装方式

使用 Gradle 进行开发环境设置

推荐使用 Gradle 进行项目设置，以下是具体步骤：

1. 生成 IDE 项目文件：

   • 对于 Eclipse：

     gradle eclipse
     

   • 对于 IntelliJ IDEA：

     gradle idea
     

2. 导入项目： 将生成的项目文件导入到您的 IDE 中。Gradle 会自动下载所有依赖项并创建必要的项目文件。

手动设置开发环境

如果您不使用 Gradle，也可以手动将项目导入到您的 IDE 中，并手动添加 lib 文件夹中的所有 .jar 文件作为依赖项。

通过以上步骤，您可以顺利安装并开始使用 HackReduce 项目。