pgvector项目中的查询性能优化实践

在PostgreSQL数据库中使用pgvector扩展时，查询性能优化是一个重要课题。本文将通过一个实际案例，分析如何通过查询重写显著提升向量相似度搜索的性能。

问题背景

在包含60万条记录的embeddings表中，每条记录包含一个1536维的向量和一个文本块。当执行包含向量相似度排序的查询时，发现查询性能存在显著差异：

1. 直接查询包含文本块的完整记录需要7秒
2. 仅查询ID和向量相似度排名只需1.5秒

查询计划分析

通过EXPLAIN分析原始查询计划发现，PostgreSQL执行全表扫描并对所有记录进行排序，这导致了大量磁盘I/O操作。关键问题在于：

• 查询需要读取并排序完整的记录(包含大文本字段)
• 排序操作使用了外部归并排序，消耗了大量临时磁盘空间
• 并行工作进程各自处理大量数据

优化方案

采用CTE(Common Table Expression)将查询拆分为两个阶段：

1. 第一阶段仅处理ID和向量相似度计算，快速获取前10个最相似记录的ID
2. 第二阶段通过主键索引高效获取对应的文本内容

这种"延迟加载"技术避免了不必要的大字段传输和排序，使查询时间从7秒降至1.5秒。

技术原理

PostgreSQL查询优化器在处理包含大字段的排序时存在局限性：

1. 无法自动识别可以延迟加载的大字段
2. 全字段排序会导致大量临时存储使用
3. 并行处理时每个工作进程都需要处理完整记录

通过手动拆分查询，我们实现了：

• 减少排序数据量(仅排序ID和向量距离)
• 利用索引快速获取最终结果
• 降低临时存储需求

实践建议

在使用pgvector进行相似度搜索时，建议：

1. 尽量避免在排序阶段包含大文本字段
2. 考虑使用CTE或子查询分阶段获取数据
3. 对结果集较小的查询优先使用索引查找
4. 监控查询计划中的排序操作和临时存储使用

这种优化方法不仅适用于pgvector，对于其他需要排序大字段的PostgreSQL查询也同样有效。理解查询执行计划是数据库性能优化的关键。