CrateDB中字符串列存储压缩优化的探索与实践
背景与问题分析
在CrateDB的存储引擎实现中,团队长期维护着一个Lucene90DocValuesFormat的分支版本,该版本移除了术语字典(terms dictionary)的压缩功能。这一修改带来了显著的性能提升,特别是在处理高基数字符串列值的流式读取场景下。然而,这种定制化分支也带来了维护成本——无法自动获取Lucene主线的性能改进和新功能(如Lucene 10中引入的稀疏索引特性)。
性能测试表明,在select/hash_join
基准测试中(涉及两个表通过字符串列进行连接操作),使用主线的压缩格式会导致严重的性能下降。特别当该字符串列被定义为主键时(意味着值唯一性),对术语字典的访问呈现完全随机模式,这对基于压缩块存储的数据结构极为不利——每次访问都可能命中不同的压缩块,使得解压缩开销无法分摊。
解决方案探索
团队尝试了多种技术方案来优化这一场景:
-
预取优化:在BinaryColumnReference中实现prefetch方法,尝试按术语字典顺序批量加载1024个文档ID的值。虽然相比基线有所改善,但在大数据集下仍比分支版本慢约两倍,因为随机分布的文档ID仍会命中不同的压缩块。
-
混合存储策略:考虑仅对主键列使用分支格式,其他字符串列回归主线格式。但这样会牺牲主键字符串列的稀疏索引功能。
-
索引排序优化:实验性地对主键列实施索引排序,在小数据集场景表现优异,但在大规模流式处理时反而造成性能下降。测试数据显示:
- 小数据集查询延迟降低128%
- 但百万级数据查询延迟反而增加81.73%
-
存储字段替代方案:尝试从存储字段而非排序集合文档值中获取主键值。虽然存储字段在顺序访问时可能有优势,但实测性能反而下降约5倍。
技术决策与最终方案
经过多轮验证,团队确定了最优技术路线:
-
采用BinaryDocValues:相比SortedSetDocValues,BinaryDocValues在大规模顺序访问场景下展现出明显优势:
- 在百万级数据查询中性能提升52.21%
- 内存分配率从1570.07MB/s提升至2552.79MB/s
- 显著减少GC压力(Young GC次数减少,平均耗时降低)
-
存储空间权衡:虽然BinaryDocValues方案会使字段数据增长21%,但术语字典大小仅增加5.28%,总体存储空间增加约2.54%,在可接受范围内。
-
保留定制化分支:鉴于实际业务场景中大量存在需要流式读取字符串数据的负载,最终决定暂时保留去除术语字典压缩的分支版本,同时将BinaryDocValues作为未来演进方向。
经验总结与未来方向
本次优化过程得出几个重要结论:
-
访问模式决定性能特征:随机访问与压缩存储的相性较差,在设计存储格式时必须考虑典型查询模式。
-
没有银弹方案:索引排序对小数据集有效但不利于流式处理,说明优化需要针对具体场景。
-
性能与空间的trade-off:在某些场景下,适度的存储空间增长换取性能提升是合理选择。
未来工作将聚焦于:
- 全面转向BinaryDocValues的可行性验证
- 研究如何平滑迁移现有数据格式
- 探索对数值主键列应用索引排序以替代BKD索引的可能性
通过这次深入的性能优化实践,CrateDB团队对列式存储的底层机制有了更深刻的理解,为后续存储引擎的持续优化奠定了坚实基础。
- DDeepSeek-V3.1-BaseDeepSeek-V3.1 是一款支持思考模式与非思考模式的混合模型Python00
- QQwen-Image-Edit基于200亿参数Qwen-Image构建,Qwen-Image-Edit实现精准文本渲染与图像编辑,融合语义与外观控制能力Jinja00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~052CommonUtilLibrary
快速开发工具类收集,史上最全的开发工具类,欢迎Follow、Fork、StarJava04GitCode百大开源项目
GitCode百大计划旨在表彰GitCode平台上积极推动项目社区化,拥有广泛影响力的G-Star项目,入选项目不仅代表了GitCode开源生态的蓬勃发展,也反映了当下开源行业的发展趋势。06GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00openHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!C0331- WWan2.2-S2V-14B【Wan2.2 全新发布|更强画质,更快生成】新一代视频生成模型 Wan2.2,创新采用MoE架构,实现电影级美学与复杂运动控制,支持720P高清文本/图像生成视频,消费级显卡即可流畅运行,性能达业界领先水平Python00
- GGLM-4.5-AirGLM-4.5 系列模型是专为智能体设计的基础模型。GLM-4.5拥有 3550 亿总参数量,其中 320 亿活跃参数;GLM-4.5-Air采用更紧凑的设计,拥有 1060 亿总参数量,其中 120 亿活跃参数。GLM-4.5模型统一了推理、编码和智能体能力,以满足智能体应用的复杂需求Jinja00
Yi-Coder
Yi Coder 编程模型,小而强大的编程助手HTML013
热门内容推荐
最新内容推荐
项目优选









