Milvus项目中稀疏向量搜索异常问题分析与解决

问题背景

在Milvus分布式向量数据库的最新版本测试中，发现了一个与稀疏向量搜索相关的严重问题。该问题在多种混沌测试场景下被触发，包括etcd follower节点pod kill、minio pod kill以及proxy pod failure等测试场景。问题表现为在进行稀疏向量搜索时，系统抛出"Brute force search fail: type conflict in json"或"invalid args: avgdl must be supplied during searching"等错误。

问题现象

测试人员在以下操作流程中观察到了异常现象：

1. 创建包含稀疏向量字段的集合
2. 成功插入数据并建立索引
3. 执行常规向量搜索操作正常
4. 但当执行稀疏向量字段的BM25搜索时，系统抛出异常

错误信息主要分为两类：

• 类型冲突错误："Brute force search fail: type conflict in json"
• 参数缺失错误："invalid args: avgdl must be supplied during searching"

技术分析

通过对错误日志和代码的深入分析，发现问题根源在于稀疏向量索引的构建和搜索过程中参数处理不当。

类型冲突问题

当系统尝试执行稀疏向量搜索时，在SearchBruteForce.cpp文件的221行发生了JSON类型冲突。这表明在将搜索参数序列化为JSON或从JSON反序列化时，某些字段的类型与预期不符。这种类型不匹配导致搜索执行流程中断。

参数缺失问题

另一个错误提示"avgdl must be supplied during searching"表明，在执行BM25算法时缺少必要的avgdl参数。avgdl是BM25算法中的一个重要参数，表示文档集合中平均文档长度，对相关性评分计算至关重要。

问题影响

该问题直接影响以下功能：

1. 稀疏向量字段的搜索功能完全不可用
2. 涉及BM25算法的文本相关性搜索失败
3. 在混沌测试场景下问题更容易复现，表明与系统稳定性相关

解决方案

开发团队针对该问题实施了以下修复措施：

1. 完善稀疏向量索引构建时的参数校验机制
2. 确保BM25搜索时所有必需参数正确传递
3. 修复JSON序列化/反序列化过程中的类型处理逻辑
4. 增加错误处理机制，提供更清晰的错误提示

验证结果

修复后的版本通过了严格的测试验证：

• 在各种混沌测试场景下稀疏向量搜索功能正常
• 系统在节点故障恢复后能够正确处理稀疏向量搜索请求
• BM25算法相关参数能够正确传递和处理

技术启示

通过这个问题的解决，我们获得了以下技术经验：

1. 分布式系统中组件故障可能导致参数传递异常，需要完善的错误处理
2. 算法特定参数需要在系统设计时充分考虑传递机制
3. 类型安全在序列化/反序列化过程中至关重要
4. 混沌测试是发现分布式系统潜在问题的有效手段

总结

Milvus团队通过深入分析稀疏向量搜索异常的根本原因，不仅解决了当前问题，还完善了相关机制，提高了系统在异常条件下的健壮性。这次问题的解决也体现了Milvus团队对系统稳定性和功能完整性的高度重视。