Marten项目中的异步Daemon可扩展性优化

Marten作为一个.NET平台上的事件存储库，近期正在对其异步Daemon功能进行重大升级，以提升其可扩展性。本文将深入探讨这一改进的技术细节和实现思路。

背景与目标

异步Daemon是Marten中负责处理事件投影的核心组件。在7.0版本中，开发团队决定对其可扩展性进行优化，使其能够更好地适应分布式环境下的工作负载。

主要优化目标包括：

• 支持多租户场景下不同租户的Daemon在不同节点上执行
• 允许用户将异步投影分组，使不同组可以在独立节点上并行处理
• 提高系统的整体容错能力和稳定性

技术实现方案

负载均衡机制

项目采用了基于周期性检查的负载均衡策略：

• 使用PeriodicTimer定期检查并获取处理权
• 引入随机启动时间偏移，避免多个节点同时竞争资源
• 将更多功能整合到MartenDatabase中统一管理
• 在数据库级别共享HighWaterAgent状态

错误处理与恢复

系统采用了Polly库来实现健壮的错误处理机制，主要策略包括：

• 对EventFetcherException采用渐进式重试(250ms→500ms→1s)，失败后暂停30秒
• 对ShardStopException不做特殊处理
• 对ShardStartException采用渐进式重试
• 对数据库相关异常(NpgsqlException和MartenCommandException)采用类似的重试策略

高级容错设计

系统实现了多层次的错误处理：

1. 在事件批次级别进行完整重试
2. 提供显式选项来处理不同类型的错误：
   • 投影代码错误(ApplyEventException)
   • 序列化错误
   • 未知事件类型错误
3. 对分组操作使用Polly进行保护
4. 任何错误导致的新ShardAgent等效组件自动暂停

架构优化

项目进行了以下架构调整：

• 将更多功能集中到MartenDatabase中，减少分散的逻辑
• 在数据库层面共享高水位标记代理(HighWaterAgent)，提高状态管理效率
• 使用AutoClosingLifetime内置的Polly支持来处理大多数瞬时错误

总结

Marten 7.0中对异步Daemon的可扩展性改进，通过引入智能的负载均衡策略、完善的多层次错误处理机制以及架构上的优化，显著提升了系统在分布式环境下的稳定性和处理能力。这些改进使得Marten能够更好地服务于需要高可用性和高吞吐量的事件溯源场景。