pgvector索引扫描与顺序扫描的性能差异分析

概述

在使用pgvector扩展进行向量相似性搜索时，开发者可能会遇到索引扫描与顺序扫描之间的性能差异问题。本文通过一个实际案例，深入分析pgvector中HNSW索引在特定查询场景下的表现，帮助开发者理解查询优化器的工作原理以及如何正确选择扫描方式。

问题背景

在PostgreSQL中结合pgvector扩展进行向量搜索时，当数据量较小时（少于1000条记录），查询优化器可能会选择不合适的扫描方式。具体表现为：

1. 对于没有LIMIT子句的查询，优化器可能错误地选择使用HNSW索引扫描
2. 索引扫描会限制返回结果数量（默认40条候选结果），导致结果不完整
3. 顺序扫描能返回全部匹配结果，但在某些情况下不被优化器优先选择

实验环境配置

实验使用以下配置：

• PostgreSQL 16.1
• pgvector 0.7.0
• 测试表包含1000条三维向量数据
• 建立了HNSW索引用于向量相似性搜索

CREATE EXTENSION vector;
CREATE TABLE tst (i int4, v vector(3), c int4, t text);
INSERT INTO tst SELECT i, ARRAY[2+random(),3+random(),4+random()], i%50, 'test'||i FROM generate_series(1,1000) i;
CREATE INDEX idx ON tst USING hnsw (v vector_l2_ops);
ANALYZE tst;

性能对比分析

顺序扫描表现

EXPLAIN ANALYZE SELECT i FROM tst WHERE v <-> '[1,2,3]' > 1 ORDER BY v <-> '[1,2,3]';

顺序扫描特点：

• 执行时间约0.3ms
• 返回全部1000条符合条件的记录
• 使用快速排序(quicksort)处理结果
• 内存消耗约28kB

索引扫描表现

SET enable_seqscan = off;
EXPLAIN ANALYZE SELECT i FROM tst WHERE v <-> '[1,2,3]' > 1 ORDER BY v <-> '[1,2,3]';

索引扫描特点：

• 执行时间约0.5ms
• 仅返回40条记录（HNSW默认限制）
• 虽然执行时间略快，但结果不完整
• 内存消耗较高

技术原理分析

1. HNSW索引限制：pgvector的HNSW索引实现会限制返回的候选结果数量（默认为40），这导致无LIMIT的查询可能丢失部分结果。

2. 查询优化器行为：PostgreSQL优化器基于成本估算选择执行计划。对于小表，索引扫描和顺序扫描的成本差异不大，优化器可能做出次优选择。

3. 距离计算差异：向量距离计算(如L2距离)在索引扫描和顺序扫描中的实现方式不同，可能导致性能差异。

最佳实践建议

1. 明确使用场景：对于需要完整结果的查询，应优先使用顺序扫描；对于近似搜索，可以使用索引扫描。

2. 查询提示：通过设置enable_indexscan参数控制扫描方式：

   SET enable_indexscan = off; -- 强制使用顺序扫描
   

3. 结果完整性验证：比较索引扫描和顺序扫描的结果数量，确保符合业务需求。

4. 性能调优：对于特定查询模式，可以通过调整HNSW索引参数（如候选数量）来优化性能。

结论

pgvector的HNSW索引在小数据量场景下可能不是最优选择，开发者需要根据实际需求在结果完整性和查询性能之间做出权衡。理解查询优化器的工作原理和索引特性，才能在实际应用中做出合理的选择。对于测试用例，明确指定扫描方式可以避免因优化器选择导致的意外结果。