TiDB项目中添加唯一索引后数据不一致问题分析

问题背景

在TiDB数据库系统中，当用户为表添加唯一索引时，可能会遇到数据不一致的问题。这个问题主要出现在DDL操作过程中，特别是在使用快速添加索引功能时。该问题会导致最终索引数据与表数据不一致，违反唯一性约束。

问题现象

在测试场景中，我们创建了一个简单的表并插入初始数据，然后模拟在添加唯一索引过程中并发执行DML操作。测试发现，当完成索引添加后，表中存在违反唯一性约束的数据，但系统没有正确报错，导致数据不一致。

技术原理分析

TiDB的快速添加索引功能通过以下主要步骤实现：

1. 写入阶段：将索引标记为"write-only"状态，开始记录变更
2. 扫描阶段：扫描表数据构建临时索引
3. 导入阶段：将临时索引数据导入正式索引
4. 合并阶段：合并增量变更到正式索引

在这个过程中，系统需要正确处理并发DML操作，确保最终索引数据与表数据一致。问题出在合并阶段的处理逻辑上。

根本原因

深入分析代码发现，在合并阶段处理插入操作时，如果原始索引值为空，系统会直接覆盖临时索引值，而没有保留原有的临时索引记录。这导致部分变更丢失，最终索引数据不完整。

具体来说，在以下情况下会出现问题：

1. 在扫描阶段后，有记录被删除
2. 在合并阶段前，又插入了相同索引值的新记录
3. 系统错误地认为可以安全覆盖临时索引值

解决方案

修复方案的核心思想是：在处理插入操作时，无论原始索引值是否存在，都应该保留临时索引中的所有变更记录。具体实现上：

1. 修改索引写入逻辑，不再无条件覆盖临时索引值
2. 确保所有变更操作都正确记录在临时索引中
3. 在最终合并时检查所有变更记录，确保唯一性约束

影响范围

该问题影响多个TiDB版本，从6.5到9.0版本都可能存在此问题。特别是在使用快速添加索引功能时更容易触发。

最佳实践建议

对于生产环境用户，建议：

1. 在添加唯一索引前，确保数据已经满足唯一性约束
2. 在高并发环境下执行DDL操作时要特别谨慎
3. 定期执行数据一致性检查
4. 及时升级到包含修复补丁的版本

总结

TiDB中的这个索引添加问题展示了分布式数据库系统中DDL操作的复杂性。正确处理并发DML与DDL的交互需要精细的设计和实现。通过分析这个问题，我们不仅解决了具体缺陷，也加深了对TiDB索引维护机制的理解，为未来优化类似功能积累了宝贵经验。