Zohmg 项目下载及安装教程

1. 项目介绍

Zohmg 是一个用于聚合多维时间序列数据的数据存储系统，基于 Hadoop、Dumbo 和 HBase 构建。其核心思想是通过预计算聚合数据并以读取效率为导向的方式存储，从而加快查询速度。尽管 Zohmg 是一个研究项目，代码可能已经过时，但它仍然可以作为学习和研究 Hadoop 生态系统的参考。

2. 项目下载位置

Zohmg 项目的源代码托管在 GitHub 上。你可以通过以下命令克隆项目到本地：

git clone https://github.com/zohmg/zohmg.git

3. 项目安装环境配置

3.1 环境要求

• Hadoop：Zohmg 依赖于 Hadoop 进行分布式计算。
• HBase：用于存储数据。
• Dumbo：一个用于编写和运行 Hadoop 作业的 Python 框架。

3.2 环境配置步骤

1. 安装 Hadoop：

   • 下载并安装 Hadoop。
   • 配置 HADOOP_HOME 环境变量。

   export HADOOP_HOME=/path/to/hadoop
   

2. 安装 HBase：

   • 下载并安装 HBase。
   • 配置 HBASE_HOME 环境变量。

   export HBASE_HOME=/path/to/hbase
   

3. 安装 Dumbo：

   • 安装 Python 环境。
   • 使用 pip 安装 Dumbo。

   pip install dumbo
   

3.3 环境配置示例

以下是一个示例配置文件 config/environment.py：

HADOOP_HOME = "/path/to/hadoop"
HBASE_HOME = "/path/to/hbase"

4. 项目安装方式

4.1 克隆项目

首先，克隆项目到本地：

git clone https://github.com/zohmg/zohmg.git
cd zohmg

4.2 配置项目

编辑 config/environment.py 和 config/dataset.yaml 文件，配置 Hadoop 和 HBase 的路径以及数据集的维度、投影和单位。

4.3 设置项目

运行以下命令来设置项目：

zohmg setup

这将创建一个 HBase 表，用于存储数据。

5. 项目处理脚本

5.1 编写 Mapper 脚本

在 mappers/ 目录下编写一个 Mapper 脚本，用于处理输入数据。以下是一个示例 mappers/mapper.py：

import time

def map(key, value):
    parts = value.split(' ')
    if len(parts) < 7:
        return

    epoch = parts[0]
    clipid, producerid, length = parts[1:4]
    country, player, love = parts[4:7]

    ymd = "%d%02d%02d" % time.localtime(float(epoch))[0:3]

    dimensions = {}
    dimensions['clip'] = str(clipid)
    dimensions['producer'] = str(producerid)
    dimensions['country'] = country
    dimensions['player'] = player

    measurements = {}
    measurements['plays'] = 1
    measurements['seconds'] = int(length)
    measurements['loves'] = int(love)

    yield ymd, dimensions, measurements

5.2 运行 Mapper 脚本

使用以下命令在本地测试 Mapper 脚本：

zohmg import mappers/mapper.py data/short.log --local

如果 Hadoop 和 HBase 已经启动，可以在集群上运行 Mapper 脚本：

zohmg import mappers/mapper.py /data/television/20090620.log

总结

通过以上步骤，你可以成功下载、配置并安装 Zohmg 项目，并使用 Mapper 脚本处理数据。希望这篇教程对你有所帮助！