TiKV手动压缩任务在优雅关闭时无法终止的问题分析

背景介绍

在分布式KV存储引擎TiKV中，手动压缩(Manual Compaction)是一个重要的后台操作，用于优化存储性能和空间利用率。然而，在实际生产环境中发现，当TiKV节点执行优雅关闭(graceful shutdown)时，正在执行的手动压缩任务无法被及时终止，导致节点关闭过程被延迟，影响滚动重启或系统维护的效率。

问题现象

通过分析用户报告和日志，我们发现当TiKV节点执行优雅关闭时，某些正在进行的大型手动压缩任务（特别是涉及L5和L6级别SST文件的压缩）会继续执行完成，而不是被立即终止。这些压缩任务通常处理大量数据，执行时间可能长达数十分钟，严重影响了系统的维护窗口。

从日志中可以看到一个典型的手动压缩任务示例：

• 压缩了2个L5文件和60个L6文件
• 输入数据量约4GB
• 执行时间约14分钟
• 处理了近3亿条记录

技术原理分析

TiKV底层使用RocksDB作为存储引擎，手动压缩功能通过RocksDB的CompactRange接口实现。在之前的优化中（PR #16700），TiKV已经实现了阻止新手动压缩任务加入队列的功能，但对于已经在执行的任务没有处理机制。

RocksDB本身提供了CompactRangeOptions::canceled参数，专门用于取消正在执行的手动压缩任务。这个参数是一个原子布尔标志，当设置为true时，RocksDB会安全地终止当前正在执行的手动压缩操作。

解决方案

要实现优雅关闭时终止手动压缩任务，需要以下几个步骤：

1. 集成取消机制：在TiKV的关闭流程中，需要设置CompactRangeOptions的canceled标志为true。

2. 状态同步：确保所有相关线程都能及时感知到取消请求，避免竞争条件。

3. 资源清理：在取消压缩任务后，需要妥善处理已分配的资源，确保不会留下不一致的状态。

4. 日志记录：添加适当的日志记录，便于运维人员了解压缩任务被取消的情况。

实现细节

具体实现需要考虑以下技术点：

1. 原子操作：使用原子变量确保canceled标志的线程安全访问。

2. 错误处理：正确处理压缩任务被取消后可能产生的异常情况。

3. 性能影响：评估取消操作对系统性能的影响，确保不会引入明显的性能开销。

4. 兼容性：确保新功能与现有版本的兼容性，特别是在滚动升级场景下。

预期效果

实现该功能后，TiKV节点在优雅关闭时将能够：

• 立即终止所有正在进行的手动压缩任务
• 显著缩短节点关闭时间
• 提高系统维护效率
• 保持数据一致性

总结

TiKV手动压缩任务在优雅关闭时无法终止的问题，反映了分布式存储系统中资源管理和任务调度的重要性。通过集成RocksDB的取消机制，可以显著提升系统的可维护性和操作灵活性。这一改进对于需要频繁维护的大型分布式系统尤为重要，能够有效减少维护窗口，提高系统可用性。