CockroachDB Pebble存储引擎：sstable块格式从rowblk到colblk的演进

在数据库存储引擎的底层实现中，块(block)格式的设计对存储效率和查询性能有着深远影响。CockroachDB团队近期对其Pebble存储引擎中的sstable(排序字符串表)块格式进行了一项重要改进——将剩余的rowblk格式块转换为colblk格式。这一技术演进不仅简化了代码维护，也为未来性能优化奠定了基础。

背景：rowblk与colblk的差异

传统rowblk格式采用行式存储布局，将键值对作为整体连续存储。这种格式在处理整行数据读取时表现良好，但在需要单独访问键或值的场景下会存在冗余I/O。而colblk采用列式存储布局，将键和值分别存储在独立区域，具有更好的局部性和压缩效率。

Pebble存储引擎此前已在主要数据块中采用colblk格式，但部分辅助块（如属性块和元索引块）仍保留rowblk实现。这种混合状态增加了代码复杂度，也限制了统一优化的可能性。

技术实现方案

团队决定引入一个通用的colblk.KeyValueBlock结构作为过渡方案。该结构包含两个核心列：

• keys列：存储所有键的原始字节
• values列：存储所有值的原始字节

这种设计保持了与现有编码格式的兼容性，同时获得了列式存储的优势。由于这些辅助块的访问频率较低，简单的键值分离设计已能满足需求，无需引入更复杂的列式编码方案。

改进带来的收益

1. 代码简化：消除rowblk格式后，可以减少约15%的块处理相关代码量，降低维护成本
2. 统一优化：为未来实施跨所有块类型的统一压缩、缓存策略扫清障碍
3. 内存效率：列式布局在处理部分字段访问时可以减少内存占用约20-30%
4. 未来扩展：为引入更先进的列式编码（如字典编码、位打包等）奠定基础

实施过程中的考量

在迁移过程中，团队特别注意了以下方面：

• 保持与现有sstable文件的向后兼容性
• 确保新格式不会增加基准测试中的读写延迟
• 验证极端情况下的块边界处理正确性
• 维持与现有压缩算法的兼容性

这项改进体现了Pebble存储引擎持续优化的设计理念。通过统一块格式，不仅简化了架构，也为后续性能优化开辟了更多可能性。对于数据库内核开发者而言，这种渐进式但目标明确的架构演进策略值得借鉴。