OpenSearch布尔查询性能回归分析与解决方案
问题背景
在OpenSearch 3.0版本中,某些特定类型的布尔查询出现了明显的性能退化现象。具体表现为当查询包含布尔连接条件时,特别是当使用BitSetConjunctionDISI包装ImpactsDISI的情况下,查询执行时间显著增加。这种退化主要出现在以下场景中:
- 当主迭代器(匹配较少文档)是文本字段上的match查询时
- 当次迭代器(匹配较多文档)是数值范围查询产生的BitSetIterator时
性能对比数据
通过对http_logs数据集的两个典型查询进行测试,我们获得了以下性能对比数据:
查询1:文本匹配+时间范围过滤
"bool": {
"must": {"match": {"request": "js"}},
"filter": {
"range": {
"@timestamp": {
"gte": "1998-06-10T00:00:00Z",
"lt": "1998-06-13T00:00:00Z"
}
}
}
}
性能对比(毫秒):
- P25:从8.41增加到33.72(+301%)
- P50:从11.83增加到39.15(+231%)
- P75:从16.53增加到41.18(+149%)
查询2:多值匹配+时间范围过滤
"bool": {
"must": {"terms": {
"request.raw": [...]
}},
"filter": {
"range": {
"@timestamp": {
"gte": "1998-06-10T00:00:00Z",
"lt": "1998-06-13T00:00:00Z"
}
}
}
}
}
性能对比(毫秒):
- P25:从21.51增加到32.64(+52%)
- P50:从23.07增加到33.66(+48%)
- P75:从23.98增加到34.35(+43%)
问题根源分析
通过火焰图分析和代码追踪,我们发现性能退化的根本原因在于Lucene 10.0中BooleanScorerSupplier.requiredBulkScorer()方法的leadCost计算逻辑发生了变化。
在Lucene 9.x版本中,leadCost取的是MUST和FILTER子句中所有ScorerSupplier cost的最小值。而在Lucene 10.0中,计算逻辑变为:
long leadCost = subs.get(Occur.MUST).stream().mapToLong(ScorerSupplier::cost).min().orElse(Long.MAX_VALUE);
leadCost = subs.get(Occur.FILTER).stream().mapToLong(ScorerSupplier::cost).min().orElse(leadCost);
这种计算方式会导致当FILTER子句的最小cost大于MUST子句的最小cost时,错误地使用FILTER子句的cost作为leadCost。这会导致系统选择性能较差的执行路径,特别是会触发PointRangeQuery的BKD树遍历操作,而不是使用更高效的DocValues路径。
解决方案
该问题已在Lucene 10.2版本中得到修复。修复后的版本恢复了正确的leadCost计算逻辑,确保总是使用MUST和FILTER子句中最小的cost值。测试表明,应用此修复后,OpenSearch 3.0的性能退化问题完全消失,查询性能恢复到与2.19版本相当的水平。
临时解决方案建议
对于无法立即升级到包含修复版本的用户,可以考虑以下临时解决方案:
- 将FILTER子句改写为MUST子句:在某些情况下,这种改写可以避免性能退化
- 确保查询设计使MUST子句的cost低于FILTER子句:这可以避免触发有问题的代码路径
- 监控特定查询模式的性能:特别关注包含文本匹配+范围过滤的组合查询
总结
OpenSearch 3.0中出现的布尔查询性能退化问题源于Lucene 10.0中leadCost计算逻辑的变化。该问题已在Lucene 10.2中得到修复,用户只需等待OpenSearch升级到包含此修复的Lucene版本即可解决性能问题。在此期间,通过查询重写可以部分缓解性能影响。
- QQwen3-Omni-30B-A3B-InstructQwen3-Omni是多语言全模态模型,原生支持文本、图像、音视频输入,并实时生成语音。00
- HHunyuan-MT-7B腾讯混元翻译模型主要支持33种语言间的互译,包括中国五种少数民族语言。00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0269get_jobs
💼【AI找工作助手】全平台自动投简历脚本:(boss、前程无忧、猎聘、拉勾、智联招聘)Java00AudioFly
AudioFly是一款基于LDM架构的文本转音频生成模型。它能生成采样率为44.1 kHz的高保真音频,且与文本提示高度一致,适用于音效、音乐及多事件音频合成等任务。Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile08
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
热门内容推荐
最新内容推荐
项目优选









