syslog-ng 开源项目教程

1. 项目介绍

syslog-ng 是一个增强型的日志守护进程，支持广泛的输入和输出方法，包括系统日志（syslog）、非结构化文本、消息队列、SQL 和 NoSQL 数据库等。它能够接收和发送 RFC3164 和 RFC5424 风格的系统日志消息，以及 JSON 格式的消息。syslog-ng 还提供了强大的日志分类、结构化、归一化和处理功能，能够将日志转发到各种大数据工具，如 Elasticsearch、Apache Kafka 和 Apache Hadoop。

2. 项目快速启动

2.1 安装

首先，确保你已经安装了必要的依赖。然后，你可以通过以下命令从源代码编译和安装 syslog-ng：

$ ./configure && make && make install

如果你没有 configure 脚本（例如从 Git 克隆项目时），可以运行以下命令生成它：

$ ./autogen.sh

2.2 配置

以下是一个简单的配置示例，它从 /dev/log 接收系统日志，并将所有日志写入一个文件：

@version: 4.8
@include "scl.conf"

log {
    source { system(); };
    destination { file("/var/log/syslog"); };
};

如果你想从网络接收日志（默认使用 TCP/514 端口），可以使用以下配置：

@version: 4.8
@include "scl.conf"

log {
    source { system(); network(); };
    destination { file("/var/log/syslog"); };
};

2.3 启动

配置完成后，启动 syslog-ng 服务：

$ syslog-ng -f /path/to/your/config/file

3. 应用案例和最佳实践

3.1 日志分类与结构化

syslog-ng 提供了多种内置解析器（如 csv-parser()、db-parser()、kv-parser() 等），可以帮助你分类和结构化日志。例如，以下配置使用 JSON 格式接收结构化日志，并将其输出为键值对格式：

@version: 4.8
@include "scl.conf"

log {
    source { system(); };
    destination { file("/var/log/app.log" template("$(format-welf --subkeys cim)\n")); };
};

你可以使用 logger 命令提交结构化日志：

$ logger '@cim: ["name1":"value1", "name2":"value2"]'

3.2 日志转发

syslog-ng 可以将日志转发到各种目标，如文件、消息队列（如 AMQP）或数据库（如 PostgreSQL 或 MongoDB）。以下是一个将日志转发到 Elasticsearch 的示例配置：

@version: 4.8
@include "scl.conf"

log {
    source { system(); };
    destination { elasticsearch(
        index("syslog-ng")
        type("syslog")
        cluster("elasticsearch")
        client-mode("http")
        time-zone("UTC")
    ); };
};

4. 典型生态项目

4.1 Elasticsearch

Elasticsearch 是一个分布式搜索和分析引擎，常用于日志和时间序列数据的存储和分析。syslog-ng 可以与 Elasticsearch 集成，将日志数据直接发送到 Elasticsearch 进行存储和分析。

4.2 Apache Kafka

Apache Kafka 是一个分布式流处理平台，常用于构建实时数据管道和流应用。syslog-ng 可以将日志数据发送到 Kafka，以便进一步处理和分析。

4.3 MongoDB

MongoDB 是一个面向文档的 NoSQL 数据库，适用于存储和查询结构化和非结构化数据。syslog-ng 可以将日志数据存储到 MongoDB 中，以便进行高效的查询和分析。

通过这些生态项目的集成，syslog-ng 能够构建强大的日志处理和分析系统，满足各种复杂的日志管理需求。