Milvus性能优化：避免HybridSearch中仅输出主键时的重复查询

在Milvus数据库系统中，HybridSearch（混合搜索）是一个重要的功能，它允许用户同时执行多个向量字段的搜索操作。然而，在特定场景下，当前的实现存在一定的性能瓶颈，本文将深入分析这一问题及其优化方案。

问题背景

当执行HybridSearch操作时，系统会将请求拆分为针对每个涉及向量字段的子搜索请求。当前实现中，这些子请求不会传递output_fields参数，导致在所有子请求完成后，系统需要执行一次额外的查询（requery）来获取所有输出字段的数据。

性能瓶颈分析

这种设计在大多数情况下是合理的，但当output_fields仅包含主键字段时，这种requery操作就成为了不必要的性能开销。原因在于：

1. 搜索操作始终会在结果中返回主键，即使output_fields未明确指定
2. 额外的requery操作增加了网络往返和查询处理时间
3. 在数据量大的情况下，这种开销会被放大

优化方案

经过深入分析，我们提出了以下优化方案：

1. 智能字段处理：当output_fields仅包含主键时，完全跳过requery阶段
2. 代理层优化：在Proxy层实现智能字段处理逻辑
   • 转发请求到QueryNode前，移除output_fields中的主键
   • 返回结果前，将SearchResultData中的ids复制到fields_data
3. 性能提升：本地测试显示，此优化可使HybridSearch性能/QPS提升约2倍

实现细节

优化后的处理流程如下：

1. 客户端发起HybridSearch请求，指定output_fields仅包含主键
2. Proxy识别到这种情况，移除output_fields中的主键字段
3. 执行拆分后的子搜索请求
4. 合并结果时，直接从SearchResultData的ids中获取主键
5. 将主键填充到fields_data中返回给客户端

技术价值

这项优化具有以下技术价值：

1. 减少网络开销：避免了不必要的额外查询往返
2. 降低CPU负载：减少了查询节点的处理负担
3. 提升响应速度：显著改善了高并发场景下的吞吐量
4. 保持功能一致性：不影响现有功能的正确性

适用场景

该优化特别适用于以下场景：

1. 仅需要获取匹配结果的主键ID
2. 后续通过主键批量获取完整数据的场景
3. 高并发、低延迟要求的应用
4. 大规模数据集的搜索场景

总结

通过对HybridSearch中仅输出主键场景的优化，Milvus实现了显著的性能提升。这种优化体现了数据库系统中"零成本抽象"的设计理念，即在保持功能完整性的同时，针对特定场景进行精细化优化，从而为用户带来更好的使用体验。未来，我们还可以考虑将类似的优化思路扩展到其他查询场景中，进一步提升系统整体性能。