PrivateGPT项目中PgVector索引优化实践：从余弦相似度到欧式距离的切换

在基于PrivateGPT构建的大规模知识库系统中，向量相似度搜索的性能优化是一个关键挑战。本文将以一个真实案例为背景，深入探讨如何优化PgVector的索引策略，特别是从默认的余弦相似度(<=>)切换到欧式距离(<->)的操作实践。

背景与挑战

某实际业务场景中部署的PrivateGPT系统存在以下特征：

• 数据规模：向量表存储了超过2000万条记录(20,787,206)
• 存储占用：索引体积达69GB，原始数据表超过500GB
• 文档数量：已处理的文件数量超过10万份(108,000+)

在默认配置下，系统使用余弦相似度(<=>)作为相似度计算方式，这导致了查询性能瓶颈。技术团队发现改用欧式距离(<->)可以显著降低查询延迟，但需要解决两个技术问题：

1. 如何修改默认的相似度计算方式
2. 如何确保HNSW索引被正确利用

技术原理

相似度算法选择

• 余弦相似度(<=>)：测量向量间角度的余弦值，适合文本相似性比较，但对向量归一化有要求
• 欧式距离(<->)：计算向量间的直线距离，计算复杂度更低，适合高维空间中的近邻搜索

HNSW索引特性

Hierarchical Navigable Small World (HNSW)是PgVector支持的高效近似最近邻搜索索引，具有：

• 多层图结构设计
• 对数级别的时间复杂度
• 支持多种距离度量方式

实现方案

在PrivateGPT的VectorStoreComponent中，可通过以下配置参数进行调整：

hnsw_kwargs = {
    'hnsw_dist_method': 'vector_l2_ops'  # 使用欧式距离
}

关键配置说明：

• vector_cosine_ops：默认的余弦相似度操作符
• vector_l2_ops：欧式距离操作符

实施建议

1. 基准测试：在切换前应进行充分的性能对比测试
2. 索引重建：修改距离方法后需要重建HNSW索引
3. 资源监控：注意观察内存和CPU使用率变化
4. 结果验证：检查搜索结果的相关性是否受影响

性能优化延伸

对于超大规模向量搜索场景，还可以考虑：

• 分区策略：按业务维度对向量表进行分区
• 量化技术：使用PQ(Product Quantization)等压缩方法
• 硬件加速：利用GPU加速向量运算

通过本文介绍的方法，开发者可以根据实际业务需求，灵活选择最适合的相似度计算方式，充分发挥PgVector在大规模向量搜索中的性能优势。