Elasticsearch-Py中KNN搜索与inner_hits参数的正确使用方式

背景介绍

在使用Elasticsearch进行向量相似度搜索时，KNN（K-Nearest Neighbors）搜索是一个常用功能。当向量数据存储在嵌套文档中时，我们往往需要获取嵌套文档中的特定字段作为搜索结果的一部分。这时就需要使用inner_hits参数。

常见误区

很多开发者会直接使用elasticsearch-py客户端提供的knn_search()方法，但这个方法实际上是基于已被弃用的_knn_search API。更重要的是，knn_search()方法并不支持inner_hits参数，这会导致开发者在使用嵌套文档向量搜索时遇到困难。

正确使用方法

实际上，我们应该使用更通用的search()方法，并将KNN搜索作为其参数之一。search()方法完全支持KNN搜索功能，包括inner_hits参数。以下是正确使用方式的示例：

resp = client.search(
    index="passage_vectors",
    fields=[
        "creation_time",
        "full_text"
    ],
    source=False,
    knn={
        "query_vector": [0.45, 45],
        "field": "paragraph.vector",
        "k": 2,
        "num_candidates": 2,
        "inner_hits": {
            "_source": False,
            "fields": ["paragraph.text"],
            "size": 1
        }
    },
)

参数说明

1. query_vector: 查询向量
2. field: 存储向量的字段名
3. k: 返回的最相似文档数量
4. num_candidates: 候选文档数量
5. inner_hits: 用于获取嵌套文档中的特定字段
   • _source: 是否返回完整文档
   • fields: 指定返回的字段
   • size: 每个嵌套文档返回的结果数量

最佳实践

1. 避免使用已被弃用的_knn_search API
2. 对于嵌套文档的向量搜索，务必使用inner_hits参数
3. 合理设置num_candidates参数以平衡搜索质量和性能
4. 使用fields参数而非_source可以减少网络传输量

通过正确使用search()方法配合knn参数，开发者可以充分利用Elasticsearch的向量搜索能力，包括处理嵌套文档等复杂场景。