TinyVector 开源项目教程

项目介绍

TinyVector 是一个基于 SQLite 和 PyTorch 构建的小型最近邻嵌入数据库。它旨在为小型到中型数据集提供快速的向量查询速度，并且易于定制和扩展。TinyVector 是开源的，采用 MIT 许可证，适用于简单的应用场景，如文档搜索和网站商店搜索。

项目快速启动

安装依赖

首先，确保你已经安装了 Python 和 Rust。然后，克隆项目仓库并安装所需的 Python 包：

git clone https://github.com/m1guelpf/tinyvector.git
cd tinyvector
pip install -r requirements.txt

启动服务器

运行以下命令启动 TinyVector 服务器：

python -m server

使用示例

以下是一个简单的使用示例，展示了如何插入和查询向量：

from tinyvector import TinyVector

# 初始化数据库
db = TinyVector('example.db')

# 插入向量
db.insert([1.0, 2.0, 3.0])
db.insert([4.0, 5.0, 6.0])

# 查询最近邻
nearest = db.query([1.5, 2.5, 3.5])
print(nearest)

应用案例和最佳实践

文档搜索

TinyVector 非常适合用于文档搜索。你可以将文档的嵌入向量存储在 TinyVector 中，并使用查询向量来检索最相关的文档。

# 假设你已经生成了文档的嵌入向量
document_embeddings = [
    [0.1, 0.2, 0.3],
    [0.4, 0.5, 0.6],
    # ...
]

# 插入文档嵌入向量
for embedding in document_embeddings:
    db.insert(embedding)

# 查询最相关的文档
query_embedding = [0.15, 0.25, 0.35]
nearest_document = db.query(query_embedding)
print(nearest_document)

网站商店搜索

对于网站商店搜索，你可以将商品的嵌入向量存储在 TinyVector 中，并使用查询向量来检索最相关的商品。

# 假设你已经生成了商品的嵌入向量
product_embeddings = [
    [0.1, 0.2, 0.3],
    [0.4, 0.5, 0.6],
    # ...
]

# 插入商品嵌入向量
for embedding in product_embeddings:
    db.insert(embedding)

# 查询最相关的商品
query_embedding = [0.15, 0.25, 0.35]
nearest_product = db.query(query_embedding)
print(nearest_product)

典型生态项目

集成模型

TinyVector 计划支持各种嵌入模型，如 SBert、Hugging Face 模型、OpenAI、Cohere 等。这将使得用户可以直接在服务器上生成向量，而无需自己提供向量。

Python/JS 客户端

TinyVector 将提供全面的 Python 和 JavaScript 包，以便于与 TinyVector 进行集成。

# Python 客户端示例
from tinyvector_client import TinyVectorClient

client = TinyVectorClient('http://localhost:5000')
nearest = client.query([1.5, 2.5, 3.5])
print(nearest)

// JavaScript 客户端示例
const TinyVectorClient = require('tinyvector-client');

const client = new TinyVectorClient('http://localhost:5000');
client.query([1.5, 2.5, 3.5]).then(nearest => {
    console.log(nearest);
});

通过这些生态项目，TinyVector 可以更好地与其他工具和框架集成，提供更强大的功能和更好的用户体验。