MatrixOne数据库TPCC测试中的分区状态一致性问题分析

问题背景

在MatrixOne数据库的TPCC基准测试中，当使用100个仓库和1000个终端进行测试时，系统报告了一个关键错误："Stock for S_W_ID = 90 and S_I_ID = 83382 not found"。这个问题发生在2025年2月的版本测试中，涉及数据库的核心数据访问机制。

问题本质

该问题的根本原因是数据库执行过程中compile阶段收集的Blocks信息与执行阶段访问的内存行(in-mem rows)数据不一致。具体来说：

1. Reader依赖机制：数据库的reader组件依赖于事务表(txnTable)中缓存的partition state，以确保两个阶段的数据一致性。

2. 缓存失效问题：在此过程中，由于其他PR的修改导致txnTable被意外重置，破坏了partition state的缓存一致性。

技术影响

这种不一致性会导致：

• 查询执行计划与实际数据访问路径不匹配
• 可能引发数据丢失或访问错误的幻觉
• 在TPCC这类高并发测试中尤为明显，因为涉及大量事务和分区操作

解决方案

开发团队采取了以下修复措施：

1. 架构调整：修改reader组件设计，使其不再依赖缓存机制
2. 直接访问：让reader直接获取partition state，而非通过缓存
3. 一致性保证：确保compile和执行阶段获取的数据视图一致

技术启示

这个问题揭示了分布式数据库设计中几个关键点：

1. 缓存一致性：缓存机制虽然能提高性能，但也带来了复杂的一致性问题
2. 阶段协调：查询处理的多个阶段(如compile和执行)需要严格的数据视图同步
3. 测试重要性：TPCC等基准测试能有效暴露分布式系统中的边界条件问题

总结

MatrixOne团队通过分析TPCC测试失败案例，发现并修复了一个重要的分区状态一致性问题。这次修复不仅解决了特定测试场景下的错误，更重要的是完善了数据库引擎的核心数据访问机制，为系统在高并发、分布式环境下的稳定运行提供了更好保障。这类问题的发现和解决过程，也体现了开源数据库项目通过持续测试和迭代实现质量提升的典型路径。