Marten项目中的多流投影并发问题解析

概述

在使用Marten这个.NET事件溯源和文档数据库库时，开发者在7.29和7.30.2版本中遇到了一个关于多流投影(Multi-Stream Projection)的重要问题。当多流投影被注册为内联(Inline)模式并在高并发环境下运行时，会出现事件丢失的情况。

问题现象

开发者发现，当通过API并行启动多个新流时，内联模式的多流投影无法正确处理所有触发新流的事件。具体表现为：

1. 在并行请求场景下，部分事件未被投影应用
2. 当使用异步守护进程重建投影时，事件能够正确应用
3. 将多流投影注册为异步模式时，事件也能正确应用
4. 问题仅出现在内联多流投影且并行请求的情况下

技术背景

Marten中的投影分为几种模式：

• 内联(Inline)投影：在事件被持久化的同一事务中执行投影更新，保证强一致性
• 异步(Async)投影：通过后台守护进程处理事件，提供最终一致性

多流投影是指一个投影可以处理来自多个不同流的事件，并将它们聚合到同一个文档中。

问题根源

问题的本质在于内联多流投影在高并发环境下的锁竞争问题。当多个线程同时尝试更新同一个投影文档时：

1. 事务隔离级别导致锁等待
2. 部分事务可能因超时或其他并发控制机制而失败
3. 失败的事务导致相关事件未被投影处理

解决方案

Marten核心团队确认这不是一个bug，而是内联多流投影的固有局限性。推荐解决方案包括：

1. 使用异步投影模式：这是官方推荐的做法，特别适合多流投影
2. 避免高并发更新同一投影文档：如果必须使用内联模式，应控制并发度
3. 使用WaitForNonStaleDataAsync：在需要强一致性的场景下，可以使用此方法等待投影更新

最佳实践建议

1. 对于多流投影，优先考虑异步模式
2. 如果必须使用内联模式，确保了解其在高并发下的风险
3. 在设计领域模型时，考虑投影的更新频率和并发需求
4. 对于关键业务场景，考虑添加适当的监控和重试机制

结论

Marten中的内联多流投影不适合高并发场景，这是框架的固有设计限制而非缺陷。开发者应根据业务需求选择合适的投影模式，并在架构设计阶段充分考虑一致性需求与性能之间的平衡。对于大多数多流投影场景，异步模式是更可靠和可扩展的选择。