JVector项目中如何获取向量召回后的唯一标识符

在JVector项目中，当进行向量相似性搜索时，系统会返回一个包含节点分数的搜索结果(SearchResult.NodeScore)。这个结果中目前只包含一个表示RandomAccessVectorValues索引的节点值(node)，这引发了一个常见需求：如何获取与召回向量相关联的唯一标识符，类似于Elasticsearch中返回的文档ID。

核心问题分析

JVector的设计理念是将向量索引与业务标识符解耦，这使得系统更加专注于高效的向量搜索性能。节点ID(nodeId)实际上是RandomAccessVectorValues提供的向量值的序号(ordinal)。这种设计带来了灵活性，但也意味着开发者需要自行管理节点ID与业务ID之间的映射关系。

解决方案实现

在实际应用中，可以通过以下方式实现节点ID到业务ID的映射：

1. 外部映射存储：建立一个外部系统(如数据库、文件系统或内存哈希表)来存储nodeId与docId之间的映射关系。这种方法简单直接，但需要注意数据一致性问题。

2. 索引时同步构建映射：在构建向量索引的同时，同步构建并维护这个映射关系。下面是一个典型的实现示例：

// 准备源数据，包含向量和对应的业务ID
List<TestVectorItem> sourceData = Arrays.asList(
    new TestVectorItem(new float[]{-1, -1}, 11L),
    new TestVectorItem(new float[]{1.5f, 1.4f}, 13L),
    new TestVectorItem(new float[]{0.9f, 0.9f}, 14L),
    new TestVectorItem(new float[]{1, 1}, 12L)
);

// 建立节点ID到业务ID的映射
Map<Integer, Long> nodeMap = new HashMap<>();
List<VectorFloat<?>> rawVectors = new ArrayList<>();

// 遍历源数据，构建向量列表和映射关系
for (int i = 0; i < sourceData.size(); i++) {
    rawVectors.add(vectorTypeSupport.createFloatVector(sourceData.get(i).getVectors()));
    nodeMap.put(i, sourceData.get(i).getDocId());
}

// 构建向量索引
var vectors = new ListRandomAccessVectorValues(rawVectors, 2);
var builder = new GraphIndexBuilder(vectors, VectorSimilarityFunction.EUCLIDEAN, 2, 2, 1.0f, 1.0f);

// 执行搜索并获取结果
try (var graph = builder.build()) {
    var qv = vectorTypeSupport.createFloatVector(new float[]{0.5f, 0.5f});
    var results = GraphSearcher.search(qv, 4, vectors, VectorSimilarityFunction.EUCLIDEAN, graph, Bits.ALL);
    
    // 处理搜索结果，通过nodeMap获取业务ID
    for (SearchResult.NodeScore nodeScore : results.getNodes()) {
        int node = nodeScore.node;
        float[] vector = (float[]) rawVectors.get(node).get();
        float score = nodeScore.score;
        long docId = nodeMap.get(node);
        
        // 输出结果信息
        System.out.println("向量值=" + Arrays.toString(vector) + 
                         ", 节点=" + node + 
                         ", 相似度分数=" + score + 
                         ", 业务ID=" + docId);
    }
}

注意事项

1. 删除操作的影响：当从索引中删除向量时，节点序号可能会发生变化，需要同步更新映射关系。

2. 性能考量：对于大规模数据集，内存映射可能不是最佳选择，可以考虑使用更高效的存储方案。

3. 数据一致性：确保映射关系与向量索引保持同步，特别是在并发环境下。

4. 持久化：如果需要持久化存储，可以考虑将映射关系与索引文件一起保存。

最佳实践建议

1. 封装一个专门的映射管理类，统一处理节点ID与业务ID的转换。

2. 考虑使用更高效的映射结构，如原始类型映射(Int2LongMap等)来减少内存开销。

3. 对于生产环境，建议将映射关系持久化存储，并实现相应的恢复机制。

通过这种方式，开发者可以在享受JVector高效向量搜索能力的同时，灵活地关联业务标识符，满足各种应用场景的需求。