Apache Metron Bro 插件 Kafka 安装教程

1. 项目介绍

Apache Metron 是一个开源的安全监控平台，它整合了多种大数据技术，用于大规模检测和响应网络安全威胁。Bro 插件 Kafka 是 Apache Metron 项目中的一个组件，它可以将 Bro（现在称为 Zeek）日志输出发送到 Kafka。这使得 Hadoop 生态系统中的工具（如 Storm、Spark 等）能够处理由 Zeek 生成的大量数据。

2. 项目下载位置

项目托管在 GitHub 上，下载位置为：https://github.com/apache/metron-bro-plugin-kafka.git

3. 项目安装环境配置

在开始安装之前，确保你的系统中已经安装了以下依赖：

• Zeek
• Kafka
• librdkafka

以下是环境配置的步骤：

安装 librdkafka

首先，下载并编译 librdkafka：

curl -L https://github.com/edenhill/librdkafka/archive/v1.4.2.tar.gz | tar xvz
cd librdkafka-1.4.2/
./configure --enable-sasl
make
sudo make install

安装 Zeek

接下来，安装 Zeek。这里以 Ubuntu 系统为例：

sudo apt-get update
sudo apt-get install -y build-essential git
git clone https://github.com/zeek/zeek.git
cd zeek
./configure
make
sudo make install

配置 Kafka

确保 Kafka 已经安装并正在运行。

图片示例

由于本教程无法直接展示图片，请在实际操作时参考官方文档或网络资源。

4. 项目安装方式

使用 zkg 安装

推荐使用 zkg（Zeek Package Manager）进行安装：

zkg install apache/metron-bro-plugin-kafka --version master

手动安装

如果无法使用 zkg，可以手动安装。首先，下载项目代码：

git clone https://github.com/apache/metron-bro-plugin-kafka.git
cd metron-bro-plugin-kafka
./configure --with-librdkafka=/usr/local/lib
make
sudo make install

5. 项目处理脚本

安装完成后，需要配置 Zeek 脚本来激活 Kafka 插件。以下是一些基本的配置示例：

发送所有活动日志到 Kafka

@load packages/metron-bro-plugin-kafka/Apache/Kafka
redef Kafka::send_all_active_logs = T
redef Kafka::kafka_conf = table(["metadata.broker.list"] = "localhost:9092")

发送特定日志到 Kafka

@load packages/metron-bro-plugin-kafka/Apache/Kafka
redef Kafka::logs_to_send = set(HTTP::LOG, DNS::LOG)
redef Kafka::kafka_conf = table(["metadata.broker.list"] = "localhost:9092")

确保将上述配置添加到 Zeek 的配置文件中，例如 /usr/share/zeek/site/local.zeek。

以上就是 Apache Metron Bro 插件 Kafka 的下载和安装教程。按照上述步骤操作后，您就可以开始使用这个强大的插件来处理 Zeek 日志数据了。