NGT 开源项目使用教程

1、项目介绍

NGT（Neighborhood Graph and Tree）是由 Yahoo Japan 开发的一个开源项目，主要用于高效地进行近似最近邻搜索（Approximate Nearest Neighbor Search, ANNS）。NGT 通过构建高效的索引结构，能够在高维空间中快速找到与给定查询点最接近的点。该项目适用于需要在大规模数据集中进行快速相似性搜索的应用场景，如图像检索、推荐系统等。

2、项目快速启动

安装 NGT

首先，确保你的系统已经安装了必要的依赖，如 CMake 和 C++ 编译器。然后，通过以下命令克隆并安装 NGT：

git clone https://github.com/yahoojapan/NGT.git
cd NGT
mkdir build
cd build
cmake ..
make
sudo make install

创建和查询索引

以下是一个简单的示例，展示如何使用 NGT 创建索引并进行查询：

import ngtpy

# 创建索引
ngtpy.create(b"index", 100)  # 100 维数据
index = ngtpy.Index(b"index")

# 插入数据
data = [[0.1] * 100, [0.2] * 100, [0.3] * 100]
for d in data:
    index.insert(d)

# 构建索引
index.build_index()

# 查询
query = [0.15] * 100
results = index.search(query, 3)  # 查询最近的 3 个点

for result in results:
    print(f"ID: {result[0]}, Distance: {result[1]}")

3、应用案例和最佳实践

应用案例

1. 图像检索：NGT 可以用于构建图像的特征向量索引，从而实现快速的图像相似性搜索。
2. 推荐系统：在推荐系统中，NGT 可以用于快速找到与用户兴趣最接近的物品。

最佳实践

• 数据预处理：在进行索引构建之前，确保数据已经进行了必要的预处理，如归一化。
• 参数调优：根据具体应用场景，调整 NGT 的参数（如索引构建的参数）以获得最佳性能。

4、典型生态项目

• Faiss：Facebook AI Research 开发的一个用于高效相似性搜索的库，与 NGT 类似，但提供了更多的算法选择。
• Annoy：Spotify 开发的一个用于近似最近邻搜索的库，适用于大规模数据集。

通过结合这些生态项目，可以进一步扩展 NGT 的功能和应用场景。