pgvector项目新增汉明距离支持的技术解析

背景介绍

pgvector作为PostgreSQL的向量扩展，近期在其0.7.0版本中新增了对汉明距离(Hamming Distance)的支持。这一功能扩展为二进制向量相似性搜索提供了原生支持，特别适用于图像哈希、二进制文本嵌入等应用场景。

汉明距离的概念与应用

汉明距离是指两个等长字符串在相同位置上不同字符的个数。对于二进制向量而言，就是两个向量在相同位置上不同比特的数量。这一度量在以下场景中尤为重要：

1. 图像相似性搜索：如PDQ哈希算法生成的图像指纹，通过汉明距离可以判断图像的相似程度
2. 二进制文本嵌入：新兴的二进制文本嵌入模型生成的向量
3. 密码学与错误检测：用于衡量编码差异

pgvector的实现方案

pgvector通过两种方式支持汉明距离：

基础函数支持

即使不使用索引，PostgreSQL本身已可通过位运算函数实现汉明距离计算：

CREATE FUNCTION hamming_distance(a varbit, b varbit) RETURNS float8
    LANGUAGE SQL IMMUTABLE STRICT PARALLEL SAFE
    RETURN bit_count(a # b);

这种方法适合小规模数据集，在百万级数据量下查询响应时间可控制在100毫秒以内。

高效索引支持

对于大规模数据集，pgvector 0.7.0引入了HNSW索引支持，显著提升了查询性能：

CREATE TABLE items (id bigserial PRIMARY KEY, embedding bit(3));
CREATE INDEX ON items USING hnsw (embedding bit_hamming_ops);
SELECT * FROM items ORDER BY embedding <~> B'101' LIMIT 5;

这种实现方式可以高效处理以下典型查询模式：

• 最近邻搜索（KNN）
• 距离阈值过滤
• 混合查询条件

性能考量

在实际测试中，不同数据规模的表现：

• 100万条记录：约300毫秒（无索引）
• 1000万条记录：约4.5秒（无索引）
• 使用HNSW索引后，性能将有数量级提升

应用建议

对于不同场景的开发建议：

1. 小规模数据：直接使用位运算函数即可满足需求
2. 中等规模数据：考虑使用HNSW索引
3. 图像哈希应用：特别适合256位的PDQ哈希存储与检索
4. 二进制文本嵌入：新兴模型的理想存储方案

总结

pgvector对汉明距离的支持填补了PostgreSQL在二进制向量相似性搜索方面的空白，为图像识别、内容去重、二进制嵌入等应用提供了高效的数据库原生解决方案。随着二进制嵌入模型的发展，这一功能的价值将愈发显著。