GoAccess解析Wasabi存储桶日志时带宽数据缺失问题分析

在使用GoAccess工具分析Wasabi存储桶日志时，用户遇到了带宽传输量(Tx. Amount)未正确显示的问题。Wasabi存储桶日志格式与AWS S3日志格式相似，因此用户尝试使用--log-format awss3参数进行解析。

问题现象

从提供的日志样本可以看出，每条记录都包含多个字段，其中BytesSent字段(表示发送的字节数)在大多数记录中显示为0值。这正是导致GoAccess无法显示带宽数据的主要原因。

日志格式解析

典型的Wasabi存储桶日志记录包含以下关键字段：

[BucketOwner Bucket Time RemoteIP Requester RequestId Operation Key Request-URI HttpStatus ErrorCode BytesSent ObjectSize TotalTime Turn-Around]

在示例日志中，我们可以看到类似这样的记录：

546858E6E300... bucket-name [06/Aug/2024:16:37:48 +0000] 109.50.101.102 ... REST.PUT.OBJECT ... "PUT /preseed/ubuntu.seed" 200 - - 460 109 0 ... "MSP360/Wasabi Explorer/6.2.2" -

解决方案

针对此问题，可以尝试以下两种自定义日志格式方案：

1. 使用BytesSent作为带宽指标：

goaccess access.log --log-format='%^ %v [%d:%t %^] %h %^"%m %U" %s %e %b %^ %L %^"%^" "%u"' --date-format=%d/%b/%Y --time-format=%T --http-protocol=no

2. 使用ObjectSize作为带宽指标：

goaccess access.log --log-format='%^ %v [%d:%t %^] %h %^"%m %U" %s %e %^ %b %L %^"%^" "%u"' --date-format=%d/%b/%Y --time-format=%T --http-protocol=no

技术要点

1. 日志解析参数说明：

   • %d:%t 解析日期和时间
   • %h 表示远程IP地址
   • %m %U 解析HTTP方法和URI
   • %s 表示HTTP状态码
   • %e 表示错误代码
   • %b 表示传输的字节数

2. 日期时间格式说明：

   • --date-format=%d/%b/%Y 匹配类似"06/Aug/2024"的日期格式
   • --time-format=%T 匹配类似"16:37:48"的时间格式

实际应用建议

在实际应用中，建议先检查日志文件中的BytesSent字段是否包含有效值。如果该字段普遍为0，则可能需要考虑使用ObjectSize作为替代指标。同时，可以结合HTTP状态码(200表示成功请求)来筛选出有效的传输记录进行分析。

对于存储服务日志分析，理解各字段的实际含义至关重要。Wasabi日志中的BytesSent通常表示响应给客户端的数据量，而ObjectSize则表示存储在服务器上的对象大小。根据分析目的选择合适的指标才能得到有意义的带宽使用情况报告。