Malcolm项目中增强Zeek情报日志功能的实现

背景介绍

Malcolm是一个开源的网络流量分析平台，它集成了多种安全监控工具，其中Zeek作为核心组件负责网络流量分析。在网络安全监控中，情报数据(intel)的匹配和扩展对于威胁检测至关重要。

技术挑战

传统的Zeek情报匹配功能较为基础，仅提供简单的匹配记录，缺乏对匹配结果的深入分析和上下文信息。这限制了安全分析师对威胁情报的理解和响应能力。

解决方案

通过集成corelight开发的ExtendIntel插件，Malcolm项目实现了对Zeek情报日志(intel.log)的功能增强。该方案分为两个阶段实施：

第一阶段实现内容

1. 插件集成：将ExtendIntel插件添加到Zeek的插件安装列表中，确保在Malcolm部署时自动安装该插件。

2. 日志解析增强：修改Logstash的解析管道，扩展对intel.log的处理能力，新增了对以下信息的解析：

   • 威胁情报的详细分类信息
   • 情报来源的可信度评级
   • 关联的威胁行为模式
   • 情报的有效期信息

3. 数据结构调整：为Elasticsearch索引和Arkime数据库调整了字段映射，确保新增字段能够被正确存储和检索。

技术实现细节

ExtendIntel插件通过在Zeek的情报匹配过程中注入额外的分析逻辑，丰富了原始情报数据。它会自动提取情报中的元数据，并将其与网络流量上下文信息关联起来。

在Logstash配置中，新增了专门的过滤器来处理这些扩展字段，包括：

• 情报置信度评分
• 情报生命周期状态
• 关联的威胁指标
• 情报的行业分类

预期效益

这一增强功能为安全团队带来了显著优势：

1. 更丰富的上下文信息帮助分析师快速评估威胁严重性
2. 改进的关联能力支持更复杂的威胁追踪
3. 增强的元数据支持更精确的威胁情报管理
4. 为自动化响应提供了更可靠的决策依据

后续计划

第二阶段将进一步利用这些新增字段，开发更高级的分析功能，包括：

• 基于置信度评分的告警分级
• 情报有效期的自动化管理
• 跨日志关联分析
• 自定义仪表板展示关键威胁指标

这一增强功能使Malcolm在网络威胁检测和响应能力上迈出了重要一步，为安全运营团队提供了更强大的分析工具。