Manticore Search索引构建中的min_infix_len参数缺陷分析

问题背景

Manticore Search作为一款高性能的全文搜索引擎，其索引构建机制直接影响查询结果的准确性。近期发现一个关键缺陷：当使用min_infix_len参数配合dict=keywords配置时，在RT表和普通表的磁盘索引部分会出现部分文档无法匹配的情况。

问题现象

具体表现为：在RT表中插入数据后，使用MATCH()查询能正常返回结果，但当数据被刷新到磁盘后（通过FLUSH RAMCHUNK或自动刷新），部分文档将无法被查询匹配。测试案例显示，某些包含特定数字和字母组合的字符串（如"5573AA"）在内存索引中能被正确匹配，但在磁盘索引中却无法被找到。

技术分析

根本原因

该问题的根源在于索引构建过程中infix生成逻辑的缺陷。当同时满足以下条件时会出现问题：

1. 使用dict=keywords词典类型
2. 启用了min_infix_len参数
3. 数据从内存刷新到磁盘时

在磁盘索引构建阶段，部分infix未能正确生成，导致基于这些infix的查询无法匹配到相关文档。值得注意的是，该问题不影响内存中的索引部分，只影响持久化到磁盘的索引。

影响范围

该缺陷影响：

• RT表的磁盘块部分
• 普通表的索引
• 使用关键词词典(dict=keywords)的配置
• 启用了min_infix_len参数的索引

解决方案

开发团队已经修复了该问题，修复方案主要改进了infix生成逻辑，确保在磁盘索引构建阶段也能正确生成所有必要的infix。用户需要：

1. 升级到包含修复的Manticore Search版本
2. 重建受影响的索引

最佳实践建议

对于使用类似配置的用户，建议：

1. 定期验证查询结果的完整性，特别是在索引更新后
2. 在升级版本后，全面重建索引以确保数据一致性
3. 对于关键业务场景，考虑在应用层增加结果验证机制

该问题的修复显著提升了Manticore Search在复杂查询场景下的可靠性，特别是对于需要支持灵活前缀/中缀匹配的业务场景。