Milvus中JSON字段LIKE查询的优化与实现

背景介绍

在Milvus 2.5版本中，JSON字段的查询功能得到了显著增强。然而，在实际使用过程中，开发团队发现当使用LIKE操作符进行中缀(%xx%)或后缀(%xx)匹配时，查询结果与预期不符。这一问题在JSON字符串和JSON数组两种数据类型中都存在。

问题现象

在测试环境中，开发团队构建了一个包含500万条记录的集合，其中JSON字段存储了特定格式的字符串数据。每条记录的JSON值都是由字符'z'填充后加上数字组成的固定长度字符串。例如，ID为12的记录其JSON值为："zzzz...zz12"(总长度100字符)。

当执行以下三种LIKE查询时：

1. 前缀匹配("z1%") - 结果正确返回0条
2. 后缀匹配("%z1") - 预期返回50,000条但实际返回0条
3. 中缀匹配("%z1%") - 预期返回550,000条但实际返回0条

同样的问题也出现在JSON数组字段的查询中，当对数组第一个元素进行类似匹配时，也出现了结果不符的情况。

技术分析

经过深入分析，开发团队发现问题的根源在于JSON统计信息(JsonStats)的实现上。JsonStats是Milvus中用于加速JSON字段查询的优化机制，它会对JSON字段中的值进行统计和分析，建立索引结构以提高查询效率。

在原始实现中，JsonStats主要针对精确匹配和前缀匹配进行了优化，但对中缀和后缀匹配的支持不完整。这导致当用户使用"%xx"或"%xx%"模式进行查询时，系统无法正确利用统计信息进行过滤，从而返回了错误的结果。

解决方案

开发团队在修复版本中全面增强了JsonStats的功能，主要改进包括：

1. 统计信息扩展：在收集JSON字段统计信息时，不仅记录前缀信息，还增加了对中缀和后缀模式的统计支持。

2. 查询优化器改进：优化了查询计划生成逻辑，确保不同类型的LIKE模式都能正确利用统计信息进行过滤。

3. 边界条件处理：完善了各种边界情况的处理逻辑，如空字符串、极长字符串等特殊场景。

影响范围

该修复影响以下使用场景：

• 对JSON字符串字段使用LIKE操作符进行中缀或后缀匹配
• 对JSON数组中的字符串元素使用LIKE操作符进行中缀或后缀匹配
• 在大规模数据集上进行JSON字段模糊查询

版本信息

此修复已包含在Milvus 2.5.11版本中。用户可以通过升级到该版本或更高版本来获得完整的JSON字段LIKE查询支持。

最佳实践

对于需要使用JSON字段模糊查询的场景，建议：

1. 尽量使用前缀匹配("xx%")，这种模式效率最高
2. 对于必须使用中缀或后缀匹配的场景，确保使用2.5.11或更高版本
3. 对于固定模式的查询，考虑使用专门的索引结构
4. 在大数据集上测试查询性能，必要时进行查询优化

此修复显著提升了Milvus在处理复杂JSON查询时的准确性和可靠性，为用户提供了更强大的数据检索能力。