TiKV 在大 Region 场景下 CDC 变更数据捕获的性能问题分析

问题背景

在 TiKV 8.4.0 版本中，当启用 Titan 引擎且 Region 平均大小较大时，运行 CDC (Change Data Capture) 变更数据捕获任务会导致 TiKV 内存溢出(OOM)以及 TiDB 查询延迟不稳定的问题。这一现象在 Region 平均大小超过 300MB 时尤为明显。

问题现象

在生产环境中，当 TiKV 集群配置为 6 节点(16核64GB内存)并启用 Titan 引擎时，执行以下操作序列会触发问题：

1. 使用 BR 工具恢复约 4000 张表(约 10TB 数据)
2. 启动日志备份任务
3. 创建 CDC Kafka 变更数据捕获任务
4. 运行工作负载

此时观察到 TiDB 查询延迟波动剧烈，TiKV 节点出现内存溢出情况。监控数据显示 CDC 任务在通道中堆积，从"apply"到"cdc"的处理流程变慢。

根本原因分析

经过深入调查，发现问题主要由以下因素共同导致：

1. CDC 任务处理瓶颈：old_value_cb 回调函数的处理速度过慢，导致 CDC 线程成为瓶颈。该回调函数在执行时会持有快照，当大量任务堆积时，会导致数百万个活跃快照同时存在。

2. 大 Region 放大效应：当 Region 平均大小超过 300MB 时，每个 CDC 任务需要处理的数据量显著增加，进一步加剧了内存压力和任务处理延迟。

3. 内存管理不足：原始版本缺乏对 CDC 待处理任务内存占用的有效监控和配额控制，导致内存使用无限制增长直至 OOM。

解决方案

TiKV 团队通过以下方式解决了核心问题：

1. 引入内存配额控制：为 CDC 待处理任务添加内存使用跟踪机制，当 Region 超过内存配额时停止观察，防止内存无限增长。

2. 优化大 Region 处理：建议在生产环境中保持 Region 平均大小在 120MB 左右，避免单个 Region 过大导致处理延迟。

3. 性能隔离：通过资源控制机制隔离 CDC 任务对核心服务的影响，确保 TiDB 查询延迟稳定。

验证结果

应用修复后，测试结果显示：

• TiKV 内存使用稳定，不再出现 OOM 情况
• TiDB 查询延迟波动显著减小
• CDC 任务处理能力虽然仍受大 Region 影响，但系统整体稳定性得到保障

最佳实践建议

基于此问题的经验，建议 TiKV 用户：

1. 合理配置 Region 大小，生产环境推荐保持平均大小在 120MB 左右
2. 启用 Titan 引擎时特别注意内存监控
3. 运行 CDC 任务时密切监控内存和延迟指标
4. 及时升级到包含此修复的版本

此问题的解决体现了 TiKV 团队对系统稳定性的持续改进，特别是在复杂工作负载场景下的资源管理和性能隔离能力。