Apache Metron Bro Plugin Kafka 使用教程

1. 项目的目录结构及介绍

metron-bro-plugin-kafka/
├── README.md
├── configure
├── packages
│   └── metron-bro-plugin-kafka
│       └── Apache
│           └── Kafka
│               ├── __load__.bro
│               ├── init.bro
│               └── main.bro
├── scripts
│   └── install.sh
└── tests
    └── test.sh

• README.md: 项目介绍和使用说明。
• configure: 配置脚本，用于编译和安装插件。
• packages/metron-bro-plugin-kafka/Apache/Kafka: 核心插件文件，包含主要的配置和逻辑。
• scripts/install.sh: 安装脚本，用于自动化安装过程。
• tests/test.sh: 测试脚本，用于验证插件的功能。

2. 项目的启动文件介绍

启动文件: packages/metron-bro-plugin-kafka/Apache/Kafka/main.bro

该文件是插件的主要逻辑文件，负责初始化和配置 Kafka 连接，并将日志发送到 Kafka 主题。

@load packages/metron-bro-plugin-kafka/Apache/Kafka

redef Kafka::send_all_active_logs = T;
redef Kafka::kafka_conf = table(
    ["metadata.broker.list"] = "localhost:9092"
);

3. 项目的配置文件介绍

配置文件: packages/metron-bro-plugin-kafka/Apache/Kafka/init.bro

该文件包含插件的默认配置，可以根据需要进行修改。

module Kafka;

redef Kafka::logs_to_send = set(HTTP::LOG, DNS::LOG);
redef Kafka::kafka_conf = table(
    ["metadata.broker.list"] = "server1.example.com:9092,server2.example.com:9092"
);

配置示例

示例1 - 发送指定日志

@load packages/metron-bro-plugin-kafka/Apache/Kafka

redef Kafka::logs_to_send = set(HTTP::LOG, DNS::LOG);
redef Kafka::kafka_conf = table(
    ["metadata.broker.list"] = "server1.example.com:9092,server2.example.com:9092"
);

示例2 - 发送所有活动日志

@load packages/metron-bro-plugin-kafka/Apache/Kafka

redef Kafka::send_all_active_logs = T;
redef Kafka::kafka_conf = table(
    ["metadata.broker.list"] = "localhost:9092"
);

示例3 - 发送所有活动日志并排除某些日志

@load packages/metron-bro-plugin-kafka/Apache/Kafka

redef Kafka::send_all_active_logs = T;
redef Kafka::logs_to_exclude = set(Conn::LOG, DHCP::LOG);
redef Kafka::kafka_conf = table(
    ["metadata.broker.list"] = "localhost:9092"
);

通过以上配置，可以根据实际需求灵活地配置和使用 Apache Metron Bro Plugin Kafka 插件。