HackReduce 项目技术文档

2024-12-23 15:23:25作者：何举烈Damon

1. 安装指南

前提条件

在开始安装和使用 HackReduce 项目之前，请确保您的系统满足以下前提条件：

Git：用于克隆项目代码。
Java 1.6：项目代码基于 Java 1.6 编写。
构建工具：您可以选择使用以下任一工具进行项目构建：
- Gradle：推荐使用 Gradle 进行构建。
- Ant：也可以使用 Ant 进行构建。

安装步骤

克隆项目代码：
```
git clone git://github.com/hackreduce/Hackathon.git
```
克隆完成后，您可以定期运行 git pull 命令以更新代码。
进入项目目录：
```
cd Hackathon
```
构建项目：
- 如果您使用 Gradle：
```
gradle
```
- 如果您使用 Ant：
```
ant
```

2. 项目的使用说明

本地运行示例作业

在项目构建完成后，您可以运行以下命令来执行示例作业。作业完成后，输出结果将保存在 /tmp/* 目录下。

示例作业列表

Bixi：

java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.bixi.RecordCounter datasets/bixi /tmp/bixi_recordcounts

NASDAQ：

java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.stockexchange.HighestDividend datasets/nasdaq/dividends /tmp/nasdaq_dividends

NYSE：

java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.stockexchange.HighestDividend datasets/nyse/dividends /tmp/nyse_dividends

Flights：

java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.flights.RecordCounter datasets/flights /tmp/flights_recordcounts

Freebase：

java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.freebase.TopicCounter datasets/freebase/topics /tmp/fb_topiccounts

Wikipedia：

java -classpath ".:build/libs/HackReduce-0.3.jar:lib/*" org.hackreduce.examples.wikipedia.RecordCounter datasets/wikipedia /tmp/wikipedia_recordcounts

流式处理示例

Python：

java -classpath ".:lib/*" org.apache.hadoop.streaming.HadoopStreaming -input datasets/nasdaq/daily_prices/ -output /tmp/py_streaming_count -mapper streaming/nasdaq_counter.py -reducer aggregate

Ruby：

java -classpath ".:lib/*" org.apache.hadoop.streaming.HadoopStreaming -input datasets/nasdaq/daily_prices/ -output /tmp/rb_streaming_count -mapper streaming/nasdaq_counter.rb -reducer aggregate

3. 项目API使用文档

API 示例

项目中的 API 主要用于执行 MapReduce 作业。以下是一些常用的 API 示例：

RecordCounter：用于统计记录数量。

org.hackreduce.examples.bixi.RecordCounter

HighestDividend：用于计算最高股息。

org.hackreduce.examples.stockexchange.HighestDividend

MarketCapitalization：用于计算市场资本化。

org.hackreduce.examples.stockexchange.MarketCapitalization

自定义作业

您可以根据项目提供的示例代码，编写自己的 MapReduce 作业。作业的输入数据和输出路径可以根据需要进行调整。

4. 项目安装方式

使用 Gradle 进行开发环境设置

推荐使用 Gradle 进行项目设置，以下是具体步骤：

生成 IDE 项目文件：
- 对于 Eclipse：
```
gradle eclipse
```
- 对于 IntelliJ IDEA：
```
gradle idea
```
导入项目：将生成的项目文件导入到您的 IDE 中。Gradle 会自动下载所有依赖项并创建必要的项目文件。