Marten事件流压缩技术解析：优化长期文档存储方案

背景与问题场景

在现代事件溯源系统中，长期存在的业务实体（如版本化文档）会持续产生事件流。这些文档通常具有以下特点：

1. 生命周期长，可能持续数年甚至永久
2. 90%以上的操作只关心文档最新状态
3. 完成后的文档几乎只被查询最新状态（99.9%场景）
4. 审计等特殊场景才需要完整历史

传统实现中为整个文档维护单一事件流会导致：

• 存储空间持续增长
• 查询性能逐渐下降
• 历史事件占用资源但很少使用

解决方案设计

Marten项目提出了"流压缩(Stream Compacting)"技术方案，核心思路是通过重构事件流来优化存储和查询效率。

基础架构组件

1. Compact事件类型：

   • 存储当前状态的快照(Snapshot)
   • 记录原始版本信息
   • 包含到归档事件的流标识链接

2. 单流投影(SingleStreamProjection)：

   • 支持从Compact事件初始化
   • 无论采用常规方法还是显式代码都能工作

核心压缩策略

策略一：原地流压缩

1. 保留原始流标识
2. 将流重写为单个Compact事件
   • 该事件包含文档当前完整状态
3. 删除底层历史事件
4. 优点：
   • 保持原有引用不变
   • 实现简单直接

策略二：流重构

1. 创建新流并以Compact事件开头
   • 该事件包含当前状态快照
2. 归档原始流到专用分区
3. 通过Compact事件链接新旧流
4. 优点：
   • 更清晰的版本隔离
   • 适合有自然键的场景

策略三：混合模式

1. 保持现有流标识
2. 使用新键归档旧版本
3. 通过Compact事件建立关联
4. 优点：
   • 平衡了前两种方案的优点
   • 提供更灵活的查询选择

技术实现要点

1. 事件删除操作：

   • 支持删除流中指定版本之前的所有事件
   • 现有OverwriteEventOperation功能不足，需要增强

2. 投影处理保证：

   • 确保异步投影已处理完归档事件
   • 避免"等待高水位标记"这种脆弱实现

3. 新投影支持：

   • 新建投影能识别已归档流
   • 支持对归档流的追赶处理

最佳实践建议

1. 版本化文档设计：

   • 为每个文档版本创建独立流
   • 主文档流维护版本关系和元数据

2. 归档时机选择：

   • 文档标记为"完成"时触发压缩
   • 归档操作本身产生事件供投影消费

3. 状态快照策略：

   • 使用Compact作为轻量级快照
   • 考虑定期自动压缩长期未修改的流

未来演进方向

当前方案作为第一阶段实现，后续可能增强：

1. 自动化压缩策略
2. 更灵活的重构选项
3. 与分区存储深度集成
4. 压缩操作的审计追踪

通过这种流压缩技术，Marten为长期运行的业务实体提供了高效的事件存储方案，在保持事件溯源优势的同时优化了系统资源使用。