Manticore Search中JSON字符串比较的排序规则支持问题解析

问题背景

在Manticore Search 6.3.1版本中，发现了一个关于JSON字段字符串比较时排序规则(collation)支持不完全的问题。当用户设置了大小写不敏感的排序规则(libc_ci)后，对JSON字段中的字符串进行比较时，系统仍然采用了大小写敏感的匹配方式，导致查询结果不符合预期。

技术细节分析

Manticore Search作为一款高性能的全文搜索引擎，支持对JSON类型字段的查询操作。在标准SQL中，排序规则决定了字符串比较时的行为，特别是大小写敏感性和重音符号处理等。libc_ci是一种基于C库的大小写不敏感排序规则。

在问题描述的场景中，用户执行了以下操作：

1. 首先设置了连接级别的排序规则为libc_ci（大小写不敏感）
2. 然后查询JSON字段json1中的username属性值是否在('Alice', 'damon')列表中
3. 系统只返回了完全匹配大小写的"Alice"记录，而没有返回大小写变体"Damon"的记录

影响范围

这个bug影响了所有使用JSON字段字符串比较并结合特定排序规则的查询场景，特别是：

• 大小写不敏感的查询
• 包含重音符号的字符串比较
• 使用IN操作符对JSON字段值的匹配

解决方案

开发团队在后续版本中修复了这个问题（提交c88bd295ef4636b857dda0f256f59107af98ae2b）。修复后，系统能够正确识别和应用排序规则到JSON字段的字符串比较操作中。

最佳实践建议

对于需要使用JSON字段字符串比较的用户，建议：

1. 明确指定所需的排序规则，特别是在多语言环境中
2. 升级到已修复该问题的Manticore Search版本
3. 在应用程序层面对JSON字段值进行规范化处理，确保一致性
4. 测试不同排序规则下的查询行为，确保符合业务需求

总结

JSON数据处理在现代搜索应用中越来越重要，Manticore Search持续改进对JSON的支持，包括排序规则等细节处理。这个问题的修复使得Manticore Search在JSON字段处理上更加完善，为用户提供了更一致的查询体验。