GoAccess解析Zeek日志格式问题的解决方案

在网络安全监控领域，Zeek(前称Bro)是一款广泛使用的网络流量分析工具，而GoAccess则是一款实时日志分析工具。当用户尝试将两者结合使用时，可能会遇到日志格式解析的问题。本文将详细介绍如何正确配置GoAccess来解析Zeek生成的conn.log日志文件。

问题背景

Zeek默认生成的conn.log文件采用JSON格式，其中包含网络连接的各种详细信息，如时间戳、源/目的IP地址、端口号、协议类型等。然而，当用户尝试使用GoAccess分析这些日志时，经常会遇到解析错误，主要原因包括：

1. JSON键名中包含点字符(如"id.orig_h")
2. 日志格式与传统Web服务器日志差异较大
3. 时间戳格式特殊

解决方案

要解决这个问题，需要使用GoAccess开发版本，因为其中修复了JSON键名中含点字符的解析问题。以下是推荐的配置方法：

goaccess conn.log --log-format='{ "ts": "%x.%^", "id.orig_h": "%h", "proto": "%e", "service": "%v", "conn_state": "%U", "orig_ip_bytes": "%b" }' --datetime-format=%s -H no -M no --ignore-panel=BROWSERS --ignore-panel=NOT_FOUND --date-spec=min

参数解析

• --log-format：指定自定义日志格式，将Zeek日志字段映射到GoAccess的变量

  • %x：解析时间戳的秒部分
  • %h：解析客户端IP地址
  • %e：解析协议类型
  • %v：解析服务类型
  • %U：解析连接状态
  • %b：解析发送的字节数

• --datetime-format=%s：指定时间戳为Unix时间戳格式

• -H no：禁用主机名解析

• -M no：禁用鼠标支持

• --ignore-panel：忽略不相关的统计面板

注意事项

1. 由于Zeek的conn.log主要记录网络连接信息，而非HTTP访问日志，因此GoAccess能提取的分析数据有限
2. 建议根据实际需求调整映射字段，例如可以添加响应IP地址、端口等信息
3. 对于大规模日志分析，考虑先使用jq等工具预处理日志文件

扩展应用

这一解决方案不仅适用于conn.log，也可以推广到Zeek生成的其他日志文件，如http.log、dns.log等。只需根据具体日志格式调整字段映射关系即可。

通过正确配置GoAccess，安全分析人员可以更高效地监控网络活动，及时发现异常连接模式，提升网络安全防护能力。