Mozilla Heka 日志处理系统安装指南

概述

Mozilla Heka 是一个高性能、模块化的日志处理系统，由 Mozilla 开发并开源。它能够高效地收集、处理和分析日志数据，支持多种输入源和输出目标。本文将详细介绍 Heka 的安装方法，包括二进制安装和源码编译两种方式。

二进制安装

对于大多数用户来说，使用预编译的二进制包是最简单快捷的安装方式。Heka 提供了针对 Linux 和 macOS 的预编译二进制包，以及适用于 Debian 和 RPM 系发行版的软件包。

适用场景

• 快速部署生产环境
• 不需要自定义功能
• 希望避免编译依赖问题

注意事项

• 二进制版本可能与某些特定系统环境存在兼容性问题
• 功能固定，无法添加自定义插件

源码编译安装

对于需要定制功能或开发插件的用户，源码编译是更好的选择。Heka 使用 Go 语言编写，编译过程需要搭建 Go 开发环境。

编译前准备

所有系统通用依赖

1. 构建工具：CMake 3.0.0 或更高版本
2. 版本控制工具：Git 和 Mercurial
3. Go 环境：Go 1.4 或更高版本
4. Protocol Buffers：2.3 或更高版本（修改 message.proto 时需要）
5. 文档工具：Sphinx（可选，用于生成文档）

Unix/Linux 系统额外依赖

• CA 证书（通常已安装）
• make 工具
• gcc 和 libc6 开发头文件
• patch 工具
• GeoIP 开发文件（可选）
• 打包工具（dpkg、debhelper、fakeroot、rpmbuild 等）

Windows 系统额外依赖

• MinGW 开发环境

详细编译步骤

1. 获取源码

   git clone 仓库地址
   cd heka
   

2. 设置编译环境

   • Unix/Linux:

     source build.sh
     

   • Windows:

     build.bat
     

3. 运行测试（可选）

   ctest  # 运行所有测试
   make test  # Unix/Linux
   mingw32-make test  # Windows
   

4. 安装到系统

   make install  # Unix/Linux
   mingw32-make install  # Windows
   

5. 配置 Heka 在配置文件中指定 share_dir 路径：

   [hekad]
   maxprocs = 4
   share_dir = "/path/to/heka/repo/heka/share/heka"
   

编译选项

Heka 提供了一些编译时选项：

1. INCLUDE_MOZSVC：是否包含 Mozilla 服务插件（Unix 默认 true，Windows 默认 false）
2. BENCHMARK：是否启用基准测试（默认 false）

使用示例：

source ./build.sh -DBENCHMARK=true ..

添加外部插件

Heka 支持通过静态链接方式集成外部插件。开发者可以通过修改 plugin_loader.cmake 文件来添加自定义插件：

add_external_plugin(git 插件仓库地址 版本标签 [子包列表])

特殊标签 :local 表示使用本地开发中的插件代码，方便开发测试。

打包发布

完成编译后，可以使用 cpack 工具生成系统安装包：

1. 生成所有可用包

   cpack
   

2. 特定系统包

   • Unix/Linux:

     make package  # 生成通用包
     make deb  # 生成 Debian 包
     

   • Windows:

     mingw32-make package
     

常见问题

1. 清理构建环境

   • clean-heka：切换分支或拉取更新后使用，确保 Go 工作区同步
   • clean：彻底清理（慎用，会重新获取所有依赖）

2. RPM 包构建 需要预先安装 rpmbuild 工具并配置构建环境

3. Debian 包版本后缀 可以通过环境变量添加版本后缀：

   CPACK_DEBIAN_PACKAGE_VERSION_SUFFIX=+deb8 make deb
   

总结

本文详细介绍了 Mozilla Heka 日志处理系统的安装方法，从最简单的二进制安装到完整的源码编译流程，并涵盖了插件开发和系统打包等高级主题。根据实际需求选择合适的安装方式，可以更高效地部署和使用这一强大的日志处理工具。