Milvus 集群环境下启用全量mmap参数导致加载OOM问题分析

问题背景

在Milvus 2.5版本集群环境中，当启用所有mmap(memory-mapped files)参数时，尝试加载包含多种向量类型和索引的集合(collection)时会出现内存不足(OOM)的错误。该问题在基准测试场景下尤为明显，涉及20M条包含多种向量类型的数据集。

问题现象

在特定配置下创建并加载一个包含以下特征的集合时会出现OOM：

• 包含多种向量字段：128维float向量、768维float向量、稀疏float向量、256维bfloat16向量
• 多种索引类型：HNSW、DISKANN、SPARSE_INVERTED_INDEX、IVF_SQ8、INVERTED
• 数据规模达到20M条记录
• 查询节点配置了32GB内存并启用了全量mmap参数

技术分析

mmap机制在Milvus中的应用

mmap(内存映射文件)是Milvus中用于优化内存使用的重要机制，它允许将磁盘文件直接映射到进程的地址空间，从而减少实际内存占用。在Milvus中，可以针对不同类型的字段和索引分别启用mmap：

• 向量字段mmap
• 向量索引mmap
• 标量字段mmap
• 标量索引mmap

问题根源

通过分析发现，导致OOM的主要原因有：

1. 未索引的growing segment过多：在2.5版本中，由于增加了统计任务，导致产生了更多的growing segment(未索引段)，这些段默认未启用mmap，会消耗大量实际内存。

2. 内存配置不足：虽然启用了mmap，但DiskANN等索引类型仍会消耗一定量的实际内存，特别是在处理大规模数据集时。

3. 加载顺序问题：现有实现中，段的加载顺序可能不是最优的，导致内存峰值过高。

解决方案

针对该问题，社区采取了以下解决方案：

1. 启用growing segment的mmap：通过配置queryNode.mmap.growingSegment参数为true，可以显著减少growing segment的内存占用。

2. 优化内存配置：根据实际数据规模和索引类型，适当增加查询节点的内存限制。对于20M级别的数据集，建议配置至少32GB内存。

3. 调整加载顺序：优化段的加载顺序，优先加载大尺寸段，可以平滑内存使用曲线，避免瞬时峰值。

4. 版本回退：在2.5版本中，发现某个PR(#40873)是导致该问题的直接原因，暂时回退该变更可以解决问题。

最佳实践建议

对于需要在生产环境中使用mmap功能的用户，建议：

1. 根据数据规模合理配置节点内存，特别是查询节点
2. 完整启用所有mmap参数，包括growing segment的mmap
3. 监控内存使用情况，特别是加载过程中的内存峰值
4. 对于特别大的数据集，考虑分批次加载或增加节点资源
5. 关注Milvus版本更新，及时获取相关修复

总结

Milvus中的mmap机制虽然能有效降低内存占用，但在处理大规模数据集和多种索引类型时仍需谨慎配置。通过全面启用mmap参数、优化资源分配和加载策略，可以有效避免加载过程中的OOM问题，确保系统稳定运行。