SafeLine WAF日志通过Fluentd容器转发至Syslog Server的实践指南

背景介绍

SafeLine作为一款开源的Web应用防火墙(WAF)，在日常运维中需要对其产生的安全日志进行收集和分析。本文将详细介绍如何通过Fluentd容器将SafeLine的WAF日志转发至Syslog服务器，并解决在此过程中可能遇到的技术问题。

技术方案概述

本方案采用Fluentd作为日志收集和转发工具，主要实现以下功能：

1. 从SafeLine的PostgreSQL数据库中读取日志数据
2. 对日志数据进行格式转换和处理
3. 通过TCP协议将处理后的日志发送至远程Syslog服务器

详细实施步骤

1. Fluentd容器镜像构建

首先需要构建包含必要组件的Fluentd容器镜像。以下是优化的Dockerfile配置：

FROM fluent/fluentd:v1.16-1
USER root

# 使用国内镜像源加速安装
RUN sed -i 's/dl-cdn.alpinelinux.org/mirrors.aliyun.com/g' /etc/apk/repositories

# 安装必要组件
RUN apk add --no-cache --update --virtual .build-deps \
        sudo build-base ruby-dev \
 && apk add libpq-dev \
 && apk add libpq \
 && apk add tzdata \
 && cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \
 && echo "Shanghai/Asia" > /etc/timezone \
 && apk del tzdata \
 && fluent-gem install fluent-plugin-sql --no-document \
 && sudo gem install pg --no-document \
 && sudo gem install fluent-plugin-remote_syslog \
 && sudo gem sources --clear-all \
 && rm -rf /tmp/* /var/tmp/* /usr/lib/ruby/gems/*/cache/*.gem

USER fluent

关键点说明：

• 使用国内镜像源加速软件包下载
• 安装PostgreSQL客户端库和Fluentd插件
• 设置正确的时区配置
• 清理不必要的缓存文件

2. 配置文件准备

创建Fluentd配置文件fluent.conf，内容如下：

<source>
  @type sql
  host safeline-postgres
  port 5432
  database safeline-ce
  adapter postgresql
  username safeline-ce
  password YOUR_PASSWORD
  
  select_interval 60s
  select_limit 500
  
  state_file /var/run/fluentd/sql_state
  <table>
     table mgt_detect_log_basic
     tag basic
     update_column timestamp
  </table>

  <table>
     table mgt_detect_log_detail
     tag detail
     update_column id
  </table>   
</source>

<filter *>
  @type record_transformer
  <record>
    log_type ${tag}
  </record>
</filter>

<match *>
  @type remote_syslog
  protocol tcp
  host 10.192.70.122
  port 5532
  packet_size 999999
  <format>
    @type json
  </format>
</match>

配置说明：

1. 数据源配置：从SafeLine的两个日志表(mgt_detect_log_basic和mgt_detect_log_detail)中读取数据
2. 数据处理：添加log_type字段区分不同类型的日志
3. 输出配置：使用JSON格式通过TCP协议发送到远程Syslog服务器
4. 关键参数：packet_size设置为999999以避免Syslog默认1024字节限制导致的日志截断问题

3. 容器运行准备

在宿主机上创建必要的目录和文件：

mkdir -p /data/safeline/fluent
chmod 777 /data/safeline/fluent
cd /data/safeline/fluent

将上述配置文件保存为fluent.conf，并确保sql_state文件存在且不为空。

4. 启动容器

使用以下命令启动Fluentd容器：

docker run -d \
  --restart=always \
  --name safeline-fluentd \
  --net safeline-ce \
  -v /data/safeline/fluent:/var/run/fluentd/ \
  -v /data/safeline/fluent/fluent.conf:/fluentd/etc/fluent.conf \
  fluentd-waf:no_config

关键参数说明：

• --net safeline-ce：使用与SafeLine相同的Docker网络
• 卷挂载：将配置文件和状态文件目录挂载到容器中

常见问题解决方案

1. 状态文件问题

确保sql_state文件存在且不为空。该文件用于记录Fluentd从数据库读取日志的进度，防止重复读取相同数据。

2. 依赖缺失问题

在构建镜像时，确保安装了所有必要的依赖项，特别是PostgreSQL客户端库和Ruby gem包。

3. 日志截断问题

通过设置packet_size 999999参数解决Syslog默认1024字节限制导致的日志截断问题。

4. 时区配置问题

在Dockerfile中正确配置时区，确保日志时间戳准确。

性能优化建议

1. 批量处理：适当调整select_interval和select_limit参数，平衡实时性和系统负载
2. 缓存机制：考虑添加本地缓存层，应对网络不稳定的情况
3. 日志轮转：在Syslog服务器端配置日志轮转策略，避免日志文件过大

总结

通过本文介绍的方案，可以稳定高效地将SafeLine WAF日志转发至Syslog服务器。该方案具有以下优势：

1. 配置灵活，可根据需求调整日志收集策略
2. 支持多种日志类型同时处理
3. 通过TCP协议传输，确保日志传输可靠性
4. 使用JSON格式，便于后续日志分析和处理

实施过程中需特别注意状态文件管理、依赖项完整性和网络配置等关键点，以确保系统稳定运行。