Milvus项目中JSON路径索引与表达式过滤的协同问题分析

问题背景

在Milvus 2.5版本中，当使用JSON路径索引结合表达式模板和搜索提示(hint)进行查询时，发现了一个关键问题。具体表现为：在创建了JSON路径索引后，使用"not in [array]"或"!="这类否定表达式进行过滤查询时，返回的结果集不正确。

问题现象

测试案例中，当执行类似json_field['number'] not in [1, 2, 3]这样的查询时：

1. 未创建JSON路径索引时：查询结果正确，返回了所有number字段值不在1、2、3中的文档
2. 创建JSON路径索引后：查询结果错误，反而返回了包含1、2、3的文档，同时遗漏了部分符合条件的数据

这种不一致性表明JSON路径索引与表达式过滤的协同处理存在缺陷，特别是在处理否定条件时。

技术分析

根本原因

经过深入分析，发现问题出在后置过滤(post filter)与JSON索引的交互上。当启用迭代过滤(iterative_filter)提示时，系统应该：

1. 首先使用索引快速缩小结果范围
2. 然后对初步结果进行表达式过滤

但在当前实现中，对于JSON字段的否定表达式过滤，系统错误地依赖了索引过滤而忽略了后置过滤步骤，导致不符合条件的文档被错误地包含在结果中。

影响范围

该问题主要影响以下场景：

• 使用JSON字段进行否定条件查询(not in, !=)
• 结合了表达式模板和搜索提示
• 已创建针对该JSON字段的路径索引

解决方案

修复方案的核心是确保在使用后置过滤时，系统不会错误地依赖索引进行过滤。具体包括：

1. 明确过滤阶段：严格区分索引过滤和后置过滤阶段
2. 正确处理否定条件：对于JSON字段的否定表达式，确保后置过滤阶段正确执行
3. 优化查询计划：改进查询优化器对JSON路径索引和表达式过滤协同工作的处理逻辑

最佳实践建议

基于这一问题的分析，建议开发人员在使用Milvus的JSON功能时注意以下几点：

1. 测试验证：在使用否定表达式查询JSON字段时，务必验证结果是否符合预期
2. 索引策略：谨慎评估是否需要为JSON字段创建路径索引，特别是当主要使用否定条件查询时
3. 版本升级：确保使用修复后的版本(如Milvus 2.5.7rc2及以上)
4. 监控机制：对关键查询建立结果验证机制，确保数据一致性

总结

JSON路径索引是Milvus提供的一个强大功能，能够显著提升对JSON字段的查询效率。然而，在与特定类型的表达式(特别是否定条件)结合使用时，需要特别注意其行为是否符合预期。通过理解这一问题背后的技术细节，开发人员可以更好地利用Milvus的JSON功能，同时避免潜在的数据一致性问题。

该问题的修复体现了Milvus社区对数据一致性和查询准确性的高度重视，也为复杂查询场景下的JSON处理提供了更可靠的基础。