SOF-ELK项目中SharePoint/OneDrive文件夹下载日志的解析优化

在微软365的审计日志（UAL）分析过程中，SharePoint和OneDrive的文件下载操作记录是安全分析的重要数据源。近期在SOF-ELK日志分析平台中发现并解决了一个关于文件夹下载日志解析的关键问题。

背景分析

当用户从SharePoint或OneDrive下载整个文件夹时，系统会执行一个特殊的后台处理流程：

1. 系统自动将文件夹内容打包成ZIP压缩文件
2. 生成包含"OneDriveMpc-Transform_Zip/1.0"用户代理的FileDownloaded事件
3. 在UAL日志中记录此次操作的关键元数据

原始问题

在早期的SOF-ELK解析配置中，有两个关键字段未被正确解析：

1. ZipFileName：系统生成的ZIP包名称
2. FileSizeBytes：下载文件的总大小（字节数）

这两个字段对于安全调查至关重要，特别是在数据外泄分析场景中，它们能够帮助分析师快速识别大规模数据下载行为。

技术实现细节

通过分析实际日志样本，我们发现典型的文件夹下载事件包含以下特征结构：

{
  "UserAgent": "OneDriveMpc-Transform_Zip/1.0",
  "FileSizeBytes": 19893579,
  "ZipFileName": "SHARED.zip",
  "SourceFileExtension": "pdf",
  "SourceFileName": "BUGS.pdf"
}

在SOF-ELK的最新版本（2024-10-11及之后）中，解析引擎已经完善了对这些字段的处理：

• ZIP文件名被映射到o365.audit.ZipFileName字段
• 文件大小被映射到o365.audit.FileSizeBytes字段

实际应用价值

这些字段的完整解析为安全团队提供了以下关键能力：

1. 异常下载检测：通过文件大小阈值监控可疑的大规模数据下载
2. 行为分析：识别用户下载整个文件夹而非单个文件的行为模式
3. 取证调查：在事件响应中准确还原被下载的数据量和内容结构

最佳实践建议

对于使用SOF-ELK分析微软365日志的安全团队，建议：

1. 定期验证关键字段的解析完整性
2. 建立针对文件夹下载行为的特定告警规则
3. 将FileSizeBytes与ZipFileName字段纳入常规审计分析
4. 注意区分单个文件下载和文件夹下载的行为特征差异

该改进体现了SOF-ELK项目对微软365日志解析的持续优化，确保了安全团队能够获取最完整的行为审计数据。