Hayabusa项目低内存模式设计与实现分析

背景与需求

Hayabusa作为一款Windows事件日志分析工具，在处理大规模日志时面临内存消耗过高的问题。特别是在作为Velociraptor等代理运行时，高内存占用成为性能瓶颈。项目团队提出需要开发低内存模式(Low Memory Mode)功能，通过优化内存管理来降低系统负载。

技术方案设计

核心思路

低内存模式的核心设计思想是采用流式处理(Stream Processing)替代传统的批处理模式。具体实现方案包括：

1. 使用通道(Channel)机制实现生产者-消费者模式
2. 检测结果即时输出而非缓存
3. 并行化读写操作

架构调整

原架构采用先收集所有检测结果再统一处理的模式，新架构调整为：

1. 主线程创建通信通道
2. 启动独立线程进行日志分析
3. 分析线程将结果实时写入通道
4. 主线程从通道读取并立即输出结果
5. 分析完成后发送结束标志

性能权衡

低内存模式带来的功能限制包括：

• 结果无法排序
• 不支持计数(count)类规则
• 统计功能受限

实现细节

关键修改点

主要涉及以下核心模块的改造：

• 主控制模块(main.rs)
• 后处理模块(afterfact.rs)
• 检测配置模块(detections/config.rs)
• 检测逻辑模块(detections/detection.rs)
• 消息处理模块(detections/message.rs)

内存优化策略

1. 检测信息(DetectInfo)结构体字段精简
2. 统计信息与检测结果分离存储
3. 无统计需求时(--no-summary)不收集统计信息

进度显示优化

根据输出目标不同采取差异化策略：

• 标准输出：即时显示结果，不显示进度条
• 文件输出：保留进度条，实时写入结果

技术挑战

1. 线程安全与数据同步
2. 通道通信效率优化
3. 现有架构的渐进式改造
4. 功能完整性与性能的平衡

实施路线

采用分阶段实施策略：

1. 前期进行必要的架构重构
2. 分拆为多个小型PR逐步合并
3. 优先实现核心功能
4. 后续迭代增强功能

预期效果

低内存模式实施后，Hayabusa在资源受限环境中的表现将显著改善，特别适合：

• 嵌入式设备部署
• 大规模分布式处理
• 长时间持续监控场景

该功能的实现将扩大工具的应用场景，提升其在复杂环境中的适应性。