Wazuh日志增强方案：基于JSON API的多源数据统一接入实践

背景与需求分析

在现代安全运维体系中，SIEM系统需要处理来自各类异构数据源的日志信息。Wazuh作为开源的XDR平台，原生支持文件、syslog等传统日志采集方式，但在面对云服务API、Webhook推送等新型数据源时，往往需要额外的适配层。本文介绍一种通过构建轻量级JSON接入网关来扩展Wazuh数据采集能力的实践方案。

技术实现原理

核心架构设计

该方案采用Python开发的中间层服务，主要实现以下功能：

1. 标准化HTTP接口：暴露RESTful API接收JSON格式日志
2. 协议转换层：处理不同数据源的content-type等传输要求
3. 数据缓冲队列：应对突发流量和网络波动
4. 格式标准化：将异构数据转换为Wazuh兼容格式

与Wazuh原生机制的对比

Wazuh本身提供两种基础日志注入方式：

• REST API注入：通过55000端口的/events接口批量提交事件
• Unix域套接字：直接写入/var/ossec/queue/sockets/queue文件

本方案在原生能力基础上增加了：

• 多租户请求隔离
• 自动重试机制
• 数据预处理管道
• 源信息标记（如添加cloud_provider字段）

典型应用场景

云服务日志采集

通过对接AWS S3等对象存储服务，实现：

• 定时拉取云审计日志
• 多账户日志聚合
• 历史日志回溯分析

示例处理流程：

1. 从S3获取GitHub事件日志
2. 提取关键字段（repo_name, commit_id等）
3. 添加@timestamp时间戳
4. 批量提交至Wazuh

安全工具集成

将各类扫描工具的输出标准化：

• Nmap扫描结果转安全事件
• RSS订阅转威胁情报
• 第三方告警转关联事件

实施建议

部署配置要点

1. 服务部署位置：

   • 独立主机模式：适合大规模环境
   • 边车容器模式：适合云原生环境

2. 性能调优参数：

   • 批处理窗口：建议5-10秒
   • 最大并发连接：根据CPU核心数配置

3. 安全加固措施：

   • 双向TLS认证
   • 请求速率限制
   • IP白名单控制

数据处理策略

建议采用分层处理架构：

1. 第一层：基础验证（JSON Schema校验）
2. 第二层：字段映射（统一命名规范）
3. 第三层：内容增强（添加geoip等上下文）

方案优势总结

1. 协议兼容性：突破原生接口的content-type限制
2. 维护成本：解耦上游API变更影响
3. 扩展能力：支持插件式开发新适配器
4. 观测能力：内置Prometheus指标暴露

该方案已在生产环境验证，单节点可稳定处理2000+ EPS（事件/秒）的吞吐量，为Wazuh构建了更灵活的数据接入层。开发者可根据实际需求，进一步扩展支持Kafka等消息队列接入，或集成Logstash等预处理工具。