Kvrocks项目中RocksDB Blob文件泄漏问题分析

问题背景

在Kvrocks 2.10.0版本中，当用户启用了rocksdb.enable_blob_files配置项并持续写入带有TTL的数据时，系统最终会出现磁盘空间耗尽的情况。经过分析发现，这是由于底层存储引擎RocksDB在处理Blob文件时存在文件描述符泄漏问题。

技术细节

Blob文件机制

RocksDB的Blob文件功能是一种将大值数据与键分离存储的机制。当启用enable_blob_files选项后，较大的值会被存储在单独的Blob文件中，而非SST文件中。这种设计可以提升LSM树的压缩效率，减少写放大效应。

问题表现

在实际运行中，系统会出现以下典型症状：

1. 磁盘使用率持续增长直至耗尽
2. 通过检查进程文件描述符发现大量已删除但仍被占用的Blob文件
3. 重启服务后磁盘空间立即释放

根本原因

这个问题与RocksDB 9.4.0及以上版本中的一个已知缺陷有关。在特定条件下，当Blob文件被删除后，相关的文件描述符未能被正确释放，导致系统资源持续占用。

影响范围

该问题影响所有满足以下条件的Kvrocks部署：

• 使用2.10.0版本
• 配置中启用了rocksdb.enable_blob_files选项
• 存储的数据包含TTL过期机制
• 底层RocksDB版本为9.4.0或更高

解决方案

Kvrocks社区已经确认了以下几种解决方案：

1. 短期方案：将RocksDB版本回退至9.3.1，该版本尚未引入此缺陷
2. 长期方案：等待RocksDB上游修复该问题后升级
3. 配置调整：未来版本可能会暴露uncache_aggressiveness参数，让用户能够更主动地控制缓存回收行为

升级建议

对于已经部署Kvrocks 2.10.0且遇到此问题的用户，建议：

1. 监控磁盘使用情况，必要时重启服务临时释放空间
2. 等待Kvrocks 2.10.1发布后尽快升级
3. 如必须立即解决，可考虑手动降级RocksDB版本至9.3.1

技术启示

这个问题提醒我们几个重要的分布式存储系统实践原则：

1. 新功能的启用需要充分测试，特别是在生产环境部署前
2. 存储引擎的版本升级需要谨慎评估兼容性和已知问题
3. 系统监控应该包括基础资源使用情况的跟踪
4. 关键配置项的文档应当包含潜在风险和适用场景说明

Kvrocks社区对此问题的快速响应展现了开源项目在质量保障方面的成熟流程，也为其他类似项目处理存储引擎相关问题提供了参考案例。