Torus项目实现语义搜索的完整指南

引言：什么是语义搜索？

语义搜索是一种能够理解词语背后含义的搜索技术，它通过AI和机器学习解读自然语言的上下文，而不仅仅是匹配关键词。与传统的关键词搜索相比，语义搜索能够更准确地理解用户意图，返回更相关的结果。

在Torus项目中，我们利用PostgreSQL的pgvector扩展和Elixir生态系统的强大功能，实现了高效的语义搜索解决方案。

准备工作

系统要求

1. 使用PostgreSQL数据库
2. 已安装Ecto库
3. 已安装pgvector扩展（执行CREATE EXTENSION IF NOT EXISTS vector;）

核心概念：嵌入向量(Embedding)

嵌入向量是将文本（单词、句子或文档）转换为高维空间中的数值表示。它捕获了文本的语义信息，使得我们可以通过数学方法比较不同文本的相似度。

语义搜索三阶段

第一阶段：生成并存储嵌入向量

# 示例：为文章生成嵌入向量
embedding = Torus.to_vector(post_content)

Torus提供了多种生成嵌入向量的方式：

1. HuggingFace API：使用HuggingFace的预训练模型
2. Gemini API：Google的AI模型服务
3. OpenAI API：使用OpenAI的嵌入模型
4. PostgresML：直接在数据库中执行模型推理
5. 本地NxServing：使用本地GPU运行模型

第二阶段：生成搜索词的嵌入向量

search_vector = Torus.to_vector(search_term)

第三阶段：比较向量相似度

Post
|> Torus.semantic([p], p.embedding, search_vector)
|> Repo.all()

嵌入向量生成方案详解

1. HuggingFace集成

配置示例：

config :torus, 
  embedding_module: Torus.Embeddings.HuggingFace,
  token: System.get_env("HUGGING_FACE_API_KEY")

特点：

• 使用HuggingFace丰富的模型库
• 默认使用"sentence-transformers/all-MiniLM-L6-v2"模型
• 可通过配置更换模型

2. 本地GPU推理

对于有GPU支持的服务器，可以使用本地推理：

config :torus, embedding_module: Torus.Embeddings.LocalNxServing

需要添加依赖：

{:bumblebee, "~> 0.6"},
{:nx, "~> 0.9"}

3. 批处理与缓存

为提高性能，Torus提供了：

批处理(Batcher)：

config :torus, 
  embedding_module: Torus.Embeddings.Batcher,
  max_batch_size: 10,
  default_batch_timeout: 100

缓存(NebulexCache)：

config :torus,
  embedding_module: Torus.Embeddings.NebulexCache,
  cache: Nebulex.Cache

推荐的生产环境配置链：

NebulexCache → Batcher → HuggingFace/其他API

数据库设计与存储策略

推荐的表结构

create table(:embeddings) do
  add :model, :string, null: false
  add :metadata, :jsonb, default: "{}"
  add :embedding, :vector, size: 384, null: false
end

数据关联设计

建议使用多对多关系表连接业务数据和嵌入向量，便于版本管理和更新。

嵌入过程策略

1. 初始数据：使用Oban作业批量处理现有数据
2. 新增数据：
   • 方案A：定时任务批量处理
   • 方案B：插入后立即调度作业
   • 方案C（不推荐）：在事务中同步生成

搜索实现细节

基本搜索实现

def search(term) do
  search_vector = Torus.to_vector(term)
  
  Post
  |> join(:inner, [p], pe in "post_embeddings", on: pe.post_id == p.id)
  |> join(:inner, [p, pe], e in "embeddings", on: pe.embedding_id == e.id)
  |> Torus.semantic([p, pe, e], e.embedding, search_vector)
  |> Repo.all()
end

高级参数

• distance：指定距离计算方法（如:l2_distance）
• pre_filter：设置相似度阈值

性能优化建议

1. 为嵌入向量列创建适当的索引
2. 合理设置批处理大小和超时时间
3. 对频繁查询的文本使用缓存
4. 考虑使用分区表管理大量嵌入向量
5. 监控API调用频率和成本

自定义扩展

Torus设计为高度可扩展，您可以：

1. 实现自己的Torus.Embedding行为
2. 组合不同的嵌入模块
3. 添加预处理/后处理逻辑
4. 集成其他向量数据库服务

总结

通过Torus项目实现语义搜索，开发者可以：

1. 轻松集成多种AI模型服务
2. 灵活处理不同规模的文本数据
3. 构建高性能、可扩展的语义搜索功能
4. 根据需求定制整个处理流程

无论是初创项目还是大型应用，Torus都提供了从简单到高级的完整解决方案，帮助开发者快速实现基于语义的智能搜索功能。