推荐使用：Kivaloo - 高性能持久化Key-Value存储系统

项目介绍

Kivaloo（发音为"kee-va-lieu"）是一款专为满足Tarsnap在线备份服务的高性能键值存储需求而设计的工具集合。它由一个块存储器（lbs）、一个键值存储器（kvlds）和一个请求复用器（mux）组成，这些组件共同提供了一个强大且可靠的存储解决方案。

项目技术分析

块存储（lbs）

采用日志结构化的存储方式，利用本地文件系统，确保数据的持久性。

键值存储（kvlds）

管理着一个日志结构的B+树，并从单个连接处理请求。其独特之处在于，kvlds在后台执行基于I/O速率和磁盘空间使用的清理工作，无需定期进行单独的"压缩"操作。

请求复用器（mux）

接受多个连接并路由到单一的"上游"连接，提高了效率和并发处理能力。

未来，项目可能还会添加其他组件以提供更多功能或提供替代存储方案。

应用场景

Kivaloo非常适合以下应用场景：

• 在线服务的数据存储，特别是那些要求高写入速度和强一致性的服务。
• 大规模批量数据处理，如数据导入和导出。
• 数据备份和恢复服务，尤其是对于需要快速检索和更新小容量数据的系统。

项目特点

• 持久性：所有写操作在数据被fsync至硬盘后才返回确认，确保数据安全性。
• 强一致性：保证操作A完成后再开始的操作B能观察到操作A的结果。
• 自适应清理机制：kvlds无需定期压缩，根据实际I/O状态自动清理。
• 支持范围查询：通过B+树结构实现，可以高效地执行范围查找操作。

性能亮点

在Amazon EC2的c1.medium实例上，使用Ephemeral-Disk存储，2 KB的B+Tree页面大小，40字节的键和值，Kivaloo展现出优秀的性能：

• 批量插入：约125,000对/秒。
• 批量提取：内存中30,000对/秒，磁盘中20,000对/秒。
• 随机读取：内存中160,000到220,000对/秒，磁盘中受限于寻道速度。
• 混合操作：内存中14,000到30,000对/秒，磁盘中受限于寻道速度。

详细性能测试数据可参见kivaloo性能页面。

获取与社区支持

Kivaloo的最新版本和其他历史版本可在官方下载页找到。此外，该项目有一个[e-mail]邮件列表，供开发者讨论相关问题和技术。

总的来说，Kivaloo是一个经过实战检验的高性能键值存储系统，它的强一致性和持久性特性使其成为需要可靠数据存储解决方案的开发者的理想选择。无论是用于数据备份服务还是其他大规模数据操作的应用，Kivaloo都能提供卓越的性能和稳定性。现在就加入我们的社区，探索更多可能性！