pgvector项目中函数稳定性对HNSW索引使用的影响分析

问题背景

在使用pgvector进行向量相似度搜索时，很多开发者会遇到查询性能低下的问题。一个典型场景是：当执行包含ORDER BY和LIMIT的KNN查询时，PostgreSQL优化器可能选择全表扫描而非使用HNSW索引，导致查询时间从毫秒级骤降至分钟级。

问题复现

假设我们有一个包含35万条记录的表sentence，每条记录包含一个1024维的向量列embedding。当执行以下查询时：

SELECT sentence.id, sentence.sentence_number, 
       sentence.embedding_source, 
       sentence.embedding <=> random_vector() as cosine_dist
FROM sentence
ORDER BY cosine_dist
LIMIT 10;

其中random_vector()是一个生成随机向量的函数。这个查询可能会执行非常缓慢，耗时约1分钟，而预期应该是毫秒级响应。

原因分析

问题的根源在于PostgreSQL对函数稳定性的处理。在PostgreSQL中，函数默认被标记为VOLATILE，这意味着：

1. 函数可能在单次查询中被多次调用
2. 每次调用可能返回不同的结果
3. 优化器无法缓存函数结果

当使用VOLATILE函数作为向量距离计算的参数时，PostgreSQL必须为表中的每一行重新计算该函数值，这使得优化器无法使用HNSW索引进行优化，只能退而求其次选择全表扫描。

解决方案

将函数声明为STABLE可以解决这个问题：

CREATE FUNCTION random_vector()
RETURNS vector STABLE LANGUAGE SQL AS
$$
    SELECT array_agg(random()^3)::vector
    FROM generate_series(1, 1024)
$$;

STABLE标记告诉PostgreSQL：

1. 函数在单个语句中多次调用时返回相同结果
2. 优化器可以缓存函数结果
3. 允许使用索引进行优化

修改后，查询时间从分钟级降至毫秒级（约10ms），PostgreSQL正确地使用了HNSW索引。

深入理解函数稳定性

PostgreSQL中函数有三种稳定性级别：

1. VOLATILE：默认级别，函数可能在任何时候改变值（如random()、timeofday()）
2. STABLE：在单个语句中多次调用返回相同结果（如now()）
3. IMMUTABLE：在任何情况下都返回相同结果（如lower()）

在pgvector使用场景中，对于不依赖表数据且不随时间变化的函数，应该尽可能声明为STABLE或IMMUTABLE，以便优化器能够做出最佳执行计划。

性能优化建议

除了函数稳定性外，使用pgvector时还应注意：

1. 确保向量列使用plain存储格式
2. 定期执行VACUUM FULL维护表
3. 合理设置HNSW索引参数（m、ef_construction）
4. 查询时适当调整hnsw.ef_search和hnsw.probes参数
5. 考虑并行查询设置

通过这些优化措施，可以充分发挥pgvector在高维向量搜索中的性能优势。