Lucene项目中TermInSetQuery的packedTerms复用优化

在Apache Lucene项目中，TermInSetQuery是一个用于高效处理多术语查询的重要类。最近开发团队发现了一个可以优化的场景：当两个TermInSetQuery通过IndexOrDocValuesQuery组合时，存在重复创建packedTerms的问题。

问题背景

TermInSetQuery内部使用PrefixCodedTerms来高效存储和检索大量术语。在特定场景下，如以下代码所示：

new IndexOrDocValuesQuery(
    new TermInSetQuery(MultiTermQuery.CONSTANT_SCORE_BLENDED_REWRITE, name(), iBytesRefs),
    new TermInSetQuery(MultiTermQuery.DOC_VALUES_REWRITE, name(), dVByteRefs));

两个TermInSetQuery实例会各自独立创建PrefixCodedTerms对象，这导致了不必要的CPU和内存开销。考虑到这两个查询实际上是针对相同的术语集合，只是使用了不同的重写方法，这种重复创建显然是可以优化的。

解决方案

开发团队经过讨论提出了几种可能的解决方案：

1. Builder模式：引入TermInSetQueryBuilder，可以创建使用不同重写方法的查询实例，同时共享底层数据结构。

2. 静态辅助方法：添加一个专门的静态方法如newIndexOrDocValuesSetQuery，该方法可以同时创建两个查询并共享PrefixCodedTerms实例。

3. 内部构造函数：利用私有构造函数在IndexOrDocValuesQuery内部共享已创建的PrefixCodedTerms。

最终团队选择了保持PrefixCodedTerms作为实现细节不暴露给用户的方案，通过静态辅助方法的方式解决这个问题。这种方案既保持了API的简洁性，又实现了性能优化。

实现细节

优化后的实现将：

• 避免重复创建PrefixCodedTerms实例
• 减少内存分配和CPU计算开销
• 保持现有API的兼容性
• 对用户透明，不需要改变现有代码

版本计划

该优化已计划包含在Lucene 10.3版本中，并且会向后移植到branch_10x分支，确保更多用户能受益于这一改进。

技术意义

这种优化虽然看似微小，但在处理大规模术语集合时能带来显著的性能提升。特别是在以下场景：

• 需要同时支持索引和文档值查询的情况
• 处理大量术语的查询
• 高并发查询环境

通过减少重复计算和内存分配，这一优化将提升整体查询性能，降低系统资源消耗，是Lucene持续性能优化的重要一步。