Kvrocks项目中RocksDB Blob文件泄漏问题深度分析

问题背景

在Kvrocks 2.10.0版本中，当启用rocksdb.enable_blob_files配置项并持续写入带有TTL的数据时，系统会出现磁盘空间最终耗尽的问题。经过排查发现，这是由于大量已被删除的blob文件仍然被kvrocks进程保持打开状态导致的文件描述符泄漏。

技术细节

这个问题本质上是一个资源管理问题，具体表现为：

1. 现象表现：系统运行一段时间后，磁盘使用率会逐渐攀升至100%，即使数据理论上应该被TTL机制清理。通过检查进程文件描述符可以发现大量状态为"deleted"的blob文件仍然被占用。

2. 根本原因：这个问题与RocksDB 9.4.0及以上版本中的一个已知问题相关。在这些版本中，当启用blob文件功能时，系统未能正确释放已删除blob文件的文件描述符。

3. 影响范围：主要影响使用Kvrocks 2.10.0版本且启用了rocksdb.enable_blob_files配置的用户。该版本将RocksDB升级到了9.6.1版本，从而引入了这个潜在风险。

解决方案

Kvrocks社区针对这个问题提出了几种解决方案：

1. 版本回退方案：将RocksDB版本回退到9.3.1或8.11.4。其中9.3.1版本是更优选择，因为它既修复了问题又避免了较大的版本跨度回退。

2. 参数调优方案：未来版本可能会暴露uncache_aggressiveness参数给用户，让用户可以根据实际情况调整缓存回收的激进程度。

3. 临时解决方案：在问题修复前，可以通过定期重启kvrocks服务来释放被占用的文件描述符，但这只是一个权宜之计。

技术建议

对于生产环境用户，建议采取以下措施：

1. 如果已经升级到2.10.0版本并启用了blob文件功能，应密切监控磁盘使用情况。

2. 考虑暂时禁用rocksdb.enable_blob_files配置项，等待修复版本发布。

3. 对于新部署的环境，可以考虑使用Kvrocks 2.9.x版本，避免此问题。

4. 关注Kvrocks社区的2.10.1修复版本发布，该版本预计会回退RocksDB到9.3.1版本。

总结

这个问题展示了数据库系统中资源管理的重要性，特别是在使用底层存储引擎的高级功能时。Kvrocks社区对此问题的快速响应体现了开源项目的优势。用户在使用新功能时应充分测试，并关注社区的安全公告和版本更新。