Tarantool索引重建过程中的并发写入问题分析与解决方案

问题背景

在Tarantool数据库系统中，当用户执行修改主键(PRIMARY KEY)的DDL操作时，如果表中存在非唯一二级索引(non-unique secondary indexes)，系统需要依次重建主键和所有非唯一二级索引。这个过程是分阶段进行的，每个阶段只处理一个索引的构建。

问题现象

在索引重建过程中存在一个严重缺陷：系统仅在当前构建的索引阶段处理并发写入操作。当某个索引构建完成后，系统开始构建下一个索引时，之前构建完成的索引将不再处理并发写入。这会导致数据不一致性问题，严重时甚至会引起系统崩溃。

问题复现

通过以下两种场景可以复现该问题：

1. 调试版本断言失败：当大量并发删除操作与索引重建同时进行时，系统会在元组比较时触发断言失败。

2. 发布版本数据不一致：在重建完成后，不同索引会显示不同的数据内容，尽管这些索引理论上应该包含相同的数据。

技术原理分析

问题的根本原因在于索引重建过程的并发控制机制不完善：

1. 当开始构建新主键时，系统会正确处理并发写入，将这些操作应用到正在构建的索引中。

2. 一旦主键构建完成，系统开始构建二级索引时，就不再将这些并发写入操作应用到已构建完成的主键索引中。

3. 如果在此期间有删除操作发生，已构建的主键索引中会保留已被删除的元组，而后续构建的二级索引则不会包含这些元组。

4. 最终导致不同索引间的数据不一致，违反了数据库的基本一致性要求。

临时解决方案

目前可以通过以下三步操作作为临时解决方案：

1. 将所有非唯一二级索引临时修改为唯一索引（通过将索引部分与主键部分连接实现）

2. 执行主键修改操作

3. 将所有临时修改为唯一索引的索引恢复为非唯一索引

需要注意的是，由于Tarantool的限制，这些操作无法在一个事务中原子性完成。

系统影响

该问题会影响所有使用非唯一二级索引并需要修改主键结构的应用场景。特别是在高并发写入环境下，出现数据不一致的风险更高。

长期解决方案建议

从系统设计角度，需要重新考虑索引重建过程中的并发控制机制：

1. 实现全局的DDL锁机制，确保在索引重建过程中所有相关索引都能正确处理并发写入

2. 或者采用更彻底的方案，在索引重建期间对所有相关索引保持写入跟踪，直到所有索引重建完成

3. 考虑引入原子性的多索引修改操作，避免分阶段重建带来的不一致窗口期

总结

这个问题暴露了Tarantool在复杂DDL操作下的并发控制缺陷。作为使用者，在当前版本中应避免在高并发环境下执行主键修改操作，或者采用提供的临时解决方案。对于系统开发者来说，需要从根本上重新设计索引重建流程的并发控制机制，以确保数据的一致性。