pgvectorscale项目中DISKANN索引创建问题分析与解决方案

问题背景

在pgvectorscale项目(PostgreSQL的向量搜索扩展)使用过程中，用户尝试在UNLOGGED表上创建DISKANN索引时遇到了"ambuildempty: not yet implemented"错误。该问题发生在索引创建约11小时后，导致索引最终被标记为无效状态。

环境配置

用户环境配置如下：

• 硬件：96核/192线程，512GB内存，4块3.5TB SSD
• 数据：约2100万行的UNLOGGED表，每行包含1024维向量(BERT类型嵌入)
• PostgreSQL 16.4运行在Ubuntu 24.04 LTS系统上
• pgvectorscale扩展版本为0.7.4

问题分析

错误信息"ambuildempty: not yet implemented"源自pgvectorscale源代码中的访问方法实现。该错误特别出现在处理UNLOGGED表的索引创建过程中，因为UNLOGGED表需要特殊的初始化处理。

深入分析发现，DISKANN索引目前对UNLOGGED表的支持存在限制。PostgreSQL对UNLOGGED索引有特殊要求：需要能够构建空索引并将其写入初始化分支(INIT_FORKNUM)，以便在服务器重启时复制到主关系分支。pgvectorscale当前尚未实现这一功能。

解决方案验证

经过测试验证，以下两种方式可以成功创建DISKANN索引：

1. 使用常规表替代UNLOGGED表：在普通表上创建索引可顺利完成，耗时约7-8小时。

2. 移除CONCURRENTLY选项：非并发方式创建索引也能避免该问题。

索引使用注意事项

成功创建索引后，还需注意以下使用规范：

1. 排序方向限制：DISKANN索引仅支持ASC排序。使用DESC排序时优化器将不会使用索引，转而选择顺序扫描。

2. 大LIMIT值性能：当查询包含大LIMIT值(如100万至5000万)时，性能会显著下降。这是当前索引设计的已知限制。

未来改进方向

pgvectorscale项目团队已将该功能的完善纳入路线图，计划优先解决以下问题：

1. 实现并行构建功能
2. 添加距离截断查询支持

最佳实践建议

基于当前版本限制，建议用户：

1. 避免在UNLOGGED表上使用DISKANN索引
2. 确保查询使用ASC排序以利用索引
3. 对于需要大结果集的查询，考虑分批处理或等待未来版本优化

该问题的根本解决需要等待pgvectorscale实现对UNLOGGED表的完整支持，包括ambuildempty方法的实现。项目团队已将该需求纳入开发计划，预计在后续版本中提供完整解决方案。