syslog-ng与Fortigate日志传输问题分析与解决方案

问题背景

在日志管理系统中，syslog-ng作为一款强大的日志收集和处理工具，经常被用于接收来自各种网络设备的日志信息。本文讨论的是一个特定场景下syslog-ng与Fortigate防火墙之间的日志传输问题。

现象描述

用户在使用syslog-ng 4.4.0版本接收Fortigate防火墙的CEF格式日志时，遇到了两个主要问题：

1. TCP模式下日志合并问题：当使用TCP协议接收日志时，初始阶段工作正常，但约20秒后，syslog-ng开始将多个CEF日志消息合并为一个超大消息（接近64KB限制），导致Graylog无法正确解析。

2. UDP模式下格式变化问题：当切换到UDP协议后，虽然避免了消息合并问题，但syslog-ng会修改原始消息格式，将"CEF:"前缀从消息体中移除，并添加额外的元数据字段。

根本原因分析

TCP模式问题原因

Fortigate设备在TCP模式下默认使用"reliable"传输模式，这种模式下会发送octet-counted格式的消息（即每条消息前带有长度前缀），而非传统的以换行符分隔的消息。而syslog-ng默认的TCP接收配置期望的是以换行符分隔的消息格式，这导致了消息边界识别错误，最终将多个消息合并为一个超大消息。

UDP模式问题原因

在UDP模式下，虽然每个数据包被视为独立消息，但syslog-ng默认会尝试解析接收到的消息为syslog格式。由于Fortigate发送的是CEF格式而非标准syslog格式，这种解析会导致消息内容被错误处理，特别是"CEF:"前缀被识别为消息头的一部分而被移除。

解决方案

针对TCP模式的解决方案

对于TCP传输，正确的配置方式是使用syslog-ng的syslog解析器，并明确指定TCP传输：

source {
    syslog(port(514) transport(tcp));
};

这种配置能够正确解析Fortigate在"reliable"模式下发送的octet-counted格式消息。

针对UDP模式的解决方案

对于UDP传输，由于CEF不是标准syslog格式，应禁用自动解析：

source {
    udp(port(514) flags(no-parse));
};

这样可以保持原始消息完整性，避免syslog-ng对消息内容进行不必要的处理。

最佳实践建议

1. 协议选择：根据网络环境和可靠性需求选择协议。TCP提供可靠传输但需要正确配置，UDP更简单但可能丢失消息。

2. 格式处理：明确了解发送端的日志格式，如果是非标准格式（如CEF），应考虑禁用自动解析。

3. 缓冲区设置：对于高流量环境，适当调整syslog-ng的log-msg-size参数，但要注意不要设置过大以避免内存问题。

4. 测试验证：部署前使用tcpdump或syslog-ng的调试模式(-Fed参数)验证消息格式和传输是否正常。

总结

syslog-ng与Fortigate设备间的日志传输问题主要源于协议选择和消息格式处理的配置不当。通过理解Fortigate的日志传输特性并相应调整syslog-ng的配置，可以确保日志的正确收集和转发。在实际部署中，建议根据具体需求和环境特点选择最适合的配置方案。