TiKV CDC 跳过 Lightning 物理模式导入数据的实现机制

背景介绍

在分布式数据库 TiKV 的生态中，CDC (Change Data Capture) 是一个重要的组件，用于捕获数据库的变更事件并实时同步到下游系统。而 Lightning 则是 TiDB 生态中的快速数据导入工具，支持逻辑模式和物理模式两种数据导入方式。

问题场景

当使用 Lightning 的物理模式导入数据时，这些数据变更会被 TiKV CDC 捕获并同步到下游。然而在某些场景下，用户希望 CDC 能够识别并跳过由 Lightning 物理导入的数据，只同步正常的业务数据变更。

技术实现方案

TiKV 通过事务标记机制实现了这一需求。具体来说，Lightning 在物理导入模式下会设置事务的 txn_source 字段的第 17 位作为特殊标记。这个标记位被 TiKV CDC 组件识别后，可以决定是否跳过该行数据的同步。

实现细节

1. 事务标记机制：TiKV 的事务系统支持在事务中携带额外的元信息，txn_source 就是这样一个字段，它的第 17 位被专门保留用于标识物理导入的数据。

2. CDC 过滤逻辑：CDC 组件在捕获变更事件时，会检查事务的 txn_source 字段。如果发现第 17 位被置位，则判定该行数据来自 Lightning 物理导入，可以选择跳过不同步。

3. 性能考量：这种基于位运算的过滤方式非常高效，几乎不会对 CDC 的性能产生影响，因为：

   • 位运算本身是 CPU 原生支持的高效操作
   • 过滤判断发生在事务处理早期，可以尽早终止不必要的处理流程

应用价值

这一机制的实现带来了以下好处：

1. 数据同步更精准：用户可以精确控制哪些数据需要同步到下游，避免物理导入的中间数据污染下游系统。

2. 资源利用率提升：减少了不必要的数据同步，节省了网络带宽和下游系统的处理资源。

3. 系统集成更灵活：为 ETL 流程提供了更细粒度的控制能力，使得数据导入和同步可以更好地协同工作。

总结

TiKV 通过巧妙利用事务标记位的方式，实现了 CDC 对 Lightning 物理导入数据的识别和过滤。这一设计体现了 TiKV 生态系统中各组件间的高度协同性，以及对实际应用场景的深入理解。这种基于标记位的轻量级过滤机制，既保证了功能实现，又最大程度地降低了对系统性能的影响，是分布式数据库设计中值得借鉴的优秀实践。