Milvus中JSON路径索引在整数比较查询中的一致性挑战

在Milvus 2.5版本中，当使用JSON路径索引进行整数比较查询时，开发人员可能会遇到查询结果不一致的问题。这个问题特别出现在集合中同时包含整数和浮点数数据的情况下。

问题现象

当开发人员创建一个针对JSON字段的路径索引后，执行包含整数比较条件的查询时，发现索引创建前后的查询结果不一致。更值得注意的是，这种不一致性在索引刚创建时可能不会立即显现，而是在大约60秒后才变得明显。

技术背景

Milvus的JSON路径索引功能允许用户对JSON文档中的特定路径建立索引，以加速查询。当索引类型设置为INVERTED且指定了json_cast_type为INT64时，系统会尝试将路径下的值转换为整数进行索引。

问题根源分析

经过深入调查，发现问题主要源于以下几个方面：

1. 数据类型处理差异：当JSON字段中同时包含整数和浮点数时，索引构建过程与直接查询处理存在微妙的差异。例如，对于值1.0的处理方式可能不同。

2. 索引延迟加载：索引创建后需要一定时间才能完全生效，这解释了为什么问题在60秒后才显现。

3. 类型转换边界条件：对于接近整数最大值的数据(如9707199254740992和9707199254740993.0)，索引处理和直接查询处理可能存在不同的舍入或截断行为。

解决方案与验证

Milvus团队在2.5-20250313-33e9db15-amd64版本中修复了这个问题。修复后的版本确保了：

1. 无论是否使用JSON路径索引，查询结果都保持一致
2. 整数比较条件正确处理各种数值类型(整数、浮点数、字符串形式的数字)
3. 特殊边界值得到正确处理

最佳实践建议

对于需要在Milvus中使用JSON路径索引的开发人员，建议：

1. 始终使用最新版本的Milvus
2. 对于关键业务场景，在升级后验证索引创建前后的查询一致性
3. 考虑在应用层添加结果验证逻辑，特别是在使用混合数据类型时
4. 对于高精度需求，明确指定数据类型转换规则

总结

JSON路径索引是Milvus中强大的功能，但在处理混合数据类型时需要特别注意。通过理解底层机制和遵循最佳实践，开发人员可以充分利用这一功能而不会遇到一致性问题。Milvus团队的持续改进确保了系统在各种使用场景下的可靠性。