Malcolm项目中Zeek日志JSON格式下Mandiant威胁情报源解析问题分析

在网络安全监控领域，Malcolm作为一个开源的网络流量分析平台，其核心组件Zeek（前称Bro）通过日志记录网络活动中的威胁情报匹配情况。近期在测试v24.11.0版本时，发现当采用JSON格式输出Zeek日志时，来自Mandiant威胁情报源的字段解析存在技术缺陷，这值得安全分析人员深入了解。

问题现象

当系统配置为JSON日志格式（通过zeek.env中的ZEEK_JSON=true启用）并加载Mandiant威胁情报源时，生成的intel.log中sources字段会出现异常格式。例如原本应该分开的"Mandiant"和其URL会被错误合并为"Mandiant|https://..."这样的字符串，而非预期的独立字段。

技术根因

深入分析日志处理流程后发现问题源于Logstash解析管道的设计缺陷。在1029_zeek_intel.conf配置文件中，对sources字段的管道处理采用简单的"|"符号分割，但未考虑JSON格式下该字段可能已是数组结构的情况。当前实现存在两个关键问题：

1. 数据类型不匹配：当sources字段在JSON中已是数组时，直接应用split过滤器会导致类型冲突
2. 处理逻辑单一化：未对不同输入格式（文本日志vs JSON）做差异化处理

解决方案

正确的实现应该采用Ruby代码块进行智能处理，其逻辑应包含：

1. 输入类型检测（字符串或数组）
2. 对字符串类型执行split操作
3. 对数组类型保持原样或进行元素级处理
4. 统一输出为标准化数组格式

示例伪代码逻辑：

filter {
  ruby {
    code => '
      if event.get("[sources]").is_a?(String)
        event.set("[sources]", event.get("[sources]").split("|")) 
      elsif event.get("[sources]").is_a?(Array)
        event.set("[sources]", event.get("[sources]").flat_map { |x| x.split("|") })
      end
    '
  }
}

对安全分析的影响

该问题虽然不影响威胁检测的基础功能，但会导致：

1. 日志标准化程度降低
2. 后续自动化处理流程可能出错
3. 仪表板展示时源信息显示异常
4. 跨系统日志关联时可能产生匹配问题

最佳实践建议

对于使用Malcolm的安全团队，建议：

1. 升级到包含修复的版本（v24.11.0之后）
2. 如暂不升级，可在自定义管道中添加上述Ruby处理逻辑
3. 对历史日志进行批量重处理（如有必要）
4. 在自定义情报源集成时注意类似格式问题

该案例也提醒我们，在构建安全分析管道时，需要特别注意不同日志格式下的字段处理差异，确保数据标准化贯穿整个处理流程。只有准确的基础数据，才能支撑起有效的威胁检测和分析。