EdgeDB AI搜索功能的技术实现探讨

EdgeDB项目正在讨论如何改进其Python AI API接口，核心目标是实现一个更优雅的ai::search(... "text")函数，使其能够直接在数据库查询中使用文本搜索功能。这一改进将解决当前接口存在的一些特殊性问题。

技术挑战

实现这一功能面临的主要技术难点在于文本向量化的处理过程。当用户输入文本进行搜索时，系统需要先将文本转换为向量嵌入(embedding)，这一过程通常需要调用外部API服务。然而，直接在PostgreSQL查询内部进行这样的外部API调用是不理想的架构设计。

解决方案设计

目前提出的解决方案主要考虑以下几点：

1. 参数处理限制：该功能将仅支持字符串字面量和查询参数这两种形式。虽然这种限制可能显得不够灵活，但这是为了保证系统稳定性的必要妥协。

2. 查询重写机制：系统会在编译阶段提取搜索参数，将其发送到外部API进行向量化处理，然后在查询执行时用处理后的向量替换原始文本参数。

3. 类型驱动设计：虽然曾考虑过基于类型的解决方案，但当前更倾向于采用扩展函数标记参数的方式。函数可以标记哪些参数需要服务器端重写，并指定替换后的类型。编译器将禁止使用不符合要求的参数形式，并自动为重写版本注入新参数。

扩展功能展望

除了核心的搜索功能外，还提出了一个潜在的扩展功能ext::ai::to_vector()，它可以将文本显式转换为向量。这种设计允许更灵活的查询构建方式，例如：

with v := ext::ai::to_vector("搜索文本")
select ext::ai::search(目标类型, v);

不过，这种实现可能需要先引入通用的向量类型支持，因此可能作为未来扩展考虑。

实现路径

整个功能的实现需要以下几个技术组件协同工作：

1. 编译器扩展：识别需要特殊处理的函数参数
2. 查询单元描述：在QueryUnit中记录重写信息
3. 服务器端处理：实际执行参数替换和外部API调用
4. 类型系统支持：确保类型安全性和一致性

这种设计既保持了查询语言的简洁性，又通过编译时处理确保了系统性能，是数据库与AI功能集成的优雅解决方案。