TiKV 8.4版本CDC与Titan集成时的稳定性问题分析

问题背景

在TiKV 8.4.0版本中，当同时启用Titan存储引擎和CDC变更数据捕获功能时，系统出现了两个关键问题：

1. TiDB查询延迟不稳定
2. TiKV节点出现内存溢出(OOM)现象

这个问题在特定配置下尤为明显，特别是当Region平均大小较大时(约320MB)。测试发现，在Region平均大小为120MB时问题不会出现，但当Region增大到320MB时问题就会重现。

根本原因分析

经过深入调查，发现问题主要由以下因素共同导致：

1. CDC任务堆积：CDC任务在从"apply"到"cdc"的通道中大量堆积，主要原因是old_value_cb处理过程变慢。

2. 快照资源占用：old_value_cb处理过程中会持有快照，当处理变慢时，会导致数百万个活跃快照同时存在，快速消耗大量内存。

3. 内存配额管理不足：系统未能有效跟踪CDC待处理任务的内存使用情况，当Region较大时，这个问题会被放大。

解决方案

开发团队通过PR #17724部分解决了这个问题，主要改进包括：

1. 内存配额控制：将CDC任务纳入内存配额管理，防止因待处理任务过多导致TiKV OOM。

2. 资源限制机制：当Region内存使用超过配额时，系统会停止观察该Region，避免资源耗尽。

测试验证

应用修复后，测试结果显示：

1. TiKV不再出现OOM现象
2. TiDB查询延迟变得相对稳定
3. 系统资源使用更加可控

不过，old_value_cb处理慢的问题仍然会影响CDC的复制能力，这个问题被单独跟踪处理。

配置建议

基于测试结果，建议用户：

1. 对于使用Titan和CDC的场景，Region大小不宜设置过大
2. 推荐配置：
   • TiKV的region-split-size = "256MiB"
   • PD的region-split-size = "128MiB"
3. 避免将region-split-size设置为512MiB以上

总结

这个问题揭示了TiKV在复杂工作负载下的资源管理挑战，特别是在多个功能模块(Titan和CDC)同时工作时。开发团队的修复方案通过更精细的内存管理解决了OOM问题，但系统性能优化仍是一个持续的过程。用户在使用这些高级功能时，应注意合理的配置参数，以获得最佳的性能和稳定性。