解析SOF-ELK项目中Azure日志解析器的关键改进

背景概述

SOF-ELK作为开源的日志分析平台，其Azure日志解析模块近期针对三类特殊日志场景进行了重要优化。这些改进主要涉及Azure审计日志的完整捕获、服务主体登录信息的提取以及关联ID的标准化处理，显著提升了云安全日志的分析能力。

核心改进内容

1. 审计日志类型扩展支持

原解析器仅能处理AuditLogs和Audit类别的日志，现新增对AuditEvent类型的识别。这种扩展使得平台能够完整捕获Azure活动日志中的所有审计事件，包括：

• 用户操作审计
• 系统配置变更
• 特权访问记录

2. 服务主体身份解析增强

针对Azure中的两种特殊登录场景进行了深度解析支持：

托管身份登录日志(ManagedIdentitySignInLogs)

• 新增提取properties.servicePrincipalId字段
• 映射至标准化字段azure.signinlogs.properties.serviceprincipal_id

服务主体登录日志(ServicePrincipalSignInLogs)

• 同步支持相同字段的提取与映射
• 实现与非人类账号登录活动的统一分析

3. 关联ID标准化处理

修复了correlationId字段的解析问题：

• 原解析器因大小写敏感导致字段丢失
• 新版实现大小写不敏感的匹配逻辑
• 该字段对于追踪跨服务的事务链路至关重要

技术实现要点

字段映射机制

采用条件判断式字段映射策略：

if [raw][category] in ["AuditLogs", "Audit", "AuditEvent"]
  # 执行审计日志处理
elsif [raw][category] in ["ManagedIdentitySignInLogs", "ServicePrincipalSignInLogs"]
  # 执行服务主体登录处理
end

数据规范化

所有提取字段均遵循ELK栈的字段命名规范：

• 使用小写下划线命名法(如serviceprincipal_id)
• 保持字段层级结构清晰
• 确保与Elasticsearch映射模板兼容

实际应用价值

这些改进使得安全团队能够：

1. 完整追踪所有类型的Azure审计事件
2. 准确分析自动化服务账号的登录行为
3. 通过关联ID实现端到端的事务追踪
4. 在SIEM中建立更全面的云环境安全视图

最佳实践建议

对于升级用户，建议：

1. 验证历史日志中的AuditEvent类型是否被正确索引
2. 检查服务主体ID字段的映射完整性
3. 更新相关仪表盘和告警规则以利用新字段

该版本变更已通过包含各类日志样本的严格测试，确保在生产环境中的解析可靠性。企业用户现在可以更全面地监控其Azure环境中的安全事件和操作审计。