Apache Kvrocks 2.10.0版本中RocksDB Blob文件泄漏问题分析

Apache Kvrocks作为一款高性能的Redis兼容存储系统，其底层依赖RocksDB作为存储引擎。在最新的2.10.0版本中，由于升级了RocksDB到9.6.1版本，用户反馈启用rocksdb.enable_blob_files配置后会出现严重的磁盘空间泄漏问题。

问题现象

当用户在Kvrocks配置中启用rocksdb.enable_blob_files选项并持续写入带TTL的数据时，系统最终会出现磁盘耗尽的情况。通过检查进程的文件描述符可以发现，大量已被删除的blob文件仍然被Kvrocks进程保持打开状态，导致磁盘空间无法被回收。

典型的问题表现包括：

• 通过lsof命令可以观察到大量标记为deleted的blob文件
• 磁盘使用率持续增长直至100%
• 重启服务后磁盘空间立即释放

技术背景

RocksDB的blob文件功能是其针对大值存储的优化特性，通过将大值数据存储在单独的blob文件中，可以减少LSM树的主存储压力。在Kvrocks中启用此功能可以显著提升大键值对的存储性能。

根因分析

经过社区调查，这个问题与RocksDB 9.4.0版本引入的一个已知问题有关。该问题导致在特定情况下，已被删除的blob文件未能正确关闭其文件描述符，造成文件句柄泄漏。虽然文件在文件系统中已被标记为删除，但由于进程仍持有打开的文件描述符，对应的磁盘空间无法被操作系统回收。

解决方案

Kvrocks社区已经确认了以下解决方案：

1. 短期方案：在即将发布的2.10.1版本中，将RocksDB版本回退到9.3.1。这个版本既避免了9.4.0引入的问题，又保持了相对较新的功能特性。

2. 长期方案：考虑在后续版本中暴露RocksDB的uncache_aggressiveness参数，让用户能够更精细地控制缓存回收行为，从根本上预防此类问题的发生。

用户建议

对于已经部署Kvrocks 2.10.0并遇到此问题的用户，建议：

1. 监控系统磁盘使用情况，必要时重启服务临时释放空间
2. 等待2.10.1版本发布后尽快升级
3. 如必须继续使用2.10.0版本，可考虑暂时禁用blob文件功能

版本兼容性说明

从RocksDB 9.x降级到9.3.1版本在数据格式上是兼容的，用户无需重建数据库。RocksDB保持了良好的向前兼容性，旧版本通常能够打开由较新版本创建的数据库，只要没有启用新版本特有的功能特性。

这个问题再次提醒我们，在数据库系统的版本升级过程中，需要特别关注底层存储引擎的变更可能带来的影响。Kvrocks社区对此问题的快速响应也体现了开源社区协作的优势。