Manticore Search中ID过滤查询结果异常问题分析与修复

在Manticore Search 9.5.5版本中，开发团队发现了一个关于ID过滤查询结果不一致的问题。这个问题表现为：当使用不等于条件进行ID过滤时，查询结果会因索引大小和工作线程数量的不同而出现差异。

问题现象

具体表现为以下两种查询场景：

1. 单线程查询时出现错误结果：

select id from test where id <> 60 order by id desc limit 5 option threads=1 /*+ DocidIndex(id) */;

此时错误地返回了ID=60的记录，而实际上这条记录应该被过滤掉。

2. 多线程查询时结果正确：

select id from test where id <> 60 order by id desc limit 5 option threads=5 /*+ DocidIndex(id) */;

这种情况下能够正确返回不等于60的其他ID记录。

技术分析

这个问题本质上与查询执行引擎如何处理ID过滤条件有关。在Manticore Search中，ID过滤通常通过特殊的DocidIndex优化路径处理。当使用不等于条件时，查询执行计划生成器没有正确处理这种情况，导致在某些执行路径下过滤条件失效。

具体来说，问题出在查询优化器生成执行计划时，对于ID不等于条件的处理不够完善。在单线程执行模式下，查询采用了简化的执行路径，而没有正确应用过滤条件；而在多线程模式下，由于执行路径的不同，过滤条件被正确应用。

解决方案

开发团队通过修改查询执行计划生成逻辑解决了这个问题。具体修复措施包括：

1. 修改了查找迭代器的创建逻辑，当遇到ID不等于条件时，不再创建不适当的迭代器
2. 确保在所有执行路径下都能正确应用ID过滤条件
3. 增加了专门的测试用例来验证修复效果

技术意义

这个修复不仅解决了一个具体的查询异常问题，更重要的是完善了Manticore Search查询引擎的条件处理机制。它确保了：

1. 查询结果的一致性，不受执行线程数量的影响
2. 特殊过滤条件的正确处理
3. 查询优化器在各种场景下的可靠性

用户影响

对于使用Manticore Search的用户来说，这个修复意味着：

1. 使用ID不等于条件查询时，结果将更加可靠
2. 查询性能不会因为需要规避此问题而受到影响
3. 应用逻辑可以放心地使用各种ID过滤条件

这个问题及其修复展示了Manticore Search团队对查询引擎核心功能的持续改进，以及对查询结果准确性的高度重视。