在Faiss中使用index_factory实现余弦相似度搜索

Faiss作为高效的向量相似度搜索库，提供了多种索引构建方式。其中index_factory是一个非常灵活的接口，允许用户通过字符串描述快速构建索引结构。本文将重点介绍如何在使用index_factory时实现余弦相似度搜索。

余弦相似度与内积的关系

余弦相似度是衡量两个向量方向相似程度的指标，计算公式为：

cosθ = (A·B) / (||A|| * ||B||)

当向量都经过L2归一化处理后，向量的模长||A||和||B||都为1，此时余弦相似度就简化为向量的内积：

cosθ = A·B

在Faiss中实现余弦相似度搜索

要实现余弦相似度搜索，需要遵循以下步骤：

1. 数据预处理：对所有向量进行L2归一化处理
2. 索引配置：使用内积(METRIC_INNER_PRODUCT)作为相似度度量
3. 搜索执行：直接获取内积结果作为余弦相似度

具体实现代码如下：

import faiss
import numpy as np

# 向量维度
d = 128
# 数据库大小
nb = 20000000
# 生成随机数据
np.random.seed(1234)
xb = np.random.random((nb, d)).astype('float32')

# 关键步骤1：L2归一化
faiss.normalize_L2(xb)

# 索引配置字符串
index_mode = "IVF1024,PQ32x4fs"

# 关键步骤2：使用内积作为度量
index = faiss.index_factory(
    d, 
    index_mode,
    faiss.METRIC_INNER_PRODUCT  # 指定使用内积度量
)

# 训练索引
index.train(xb)
index.nprobe = 30
index.add(xb)

# 查询向量
query = np.random.random((1, d)).astype('float32')
# 查询向量也需要归一化
faiss.normalize_L2(query)

# 执行搜索，距离即为余弦相似度
distance, index = index.search(query, 100)

注意事项

1. 归一化一致性：数据库向量和查询向量都必须进行L2归一化处理
2. 度量选择：必须显式指定faiss.METRIC_INNER_PRODUCT作为度量方式
3. 索引类型：不是所有索引类型都支持内积度量，需要选择兼容的索引结构

性能考虑

使用余弦相似度搜索时，IVF(倒排文件)与PQ(乘积量化)的组合是一种常见选择。IVF通过聚类加速搜索，PQ通过压缩向量减少内存占用。参数选择如IVF1024中的聚类数和PQ32x4fs中的量化配置需要根据具体场景调整。

通过上述方法，我们可以在Faiss中高效地实现余弦相似度搜索，这对于推荐系统、信息检索等需要衡量向量方向相似度的应用场景非常有价值。