首页
/ 0xPlaygrounds/rig项目中的EmbeddingsBuilder重构设计

0xPlaygrounds/rig项目中的EmbeddingsBuilder重构设计

2025-06-24 01:54:35作者:幸俭卉

在0xPlaygrounds/rig项目中,EmbeddingsBuilder组件经历了一次重要的重构设计,旨在提高其灵活性和易用性。本文将深入分析这次重构的技术细节和设计思路。

原有架构的问题

原EmbeddingsBuilder实现存在一个主要限制:它仅能处理DocumentEmbedding类型的对象。这种设计带来了几个明显的缺点:

  1. 用户必须将自己的数据类型强制转换为DocumentEmbedding类型
  2. DocumentEmbedding的结构是预先确定的,用户需要围绕这个结构设计嵌入代码
  3. 缺乏灵活性,难以适应不同类型的嵌入需求

重构设计方案

新设计引入了三个关键改进:

1. Embeddable trait定义

新设计定义了一个名为Embeddable的trait,该trait包含一个核心方法embedabble(),这个方法返回一个字符串列表,表示应该被嵌入的内容。这个trait为不同类型的数据提供了统一的嵌入接口。

2. EmbeddingsBuilder的泛型化

重构后的EmbeddingsBuilder不再局限于特定类型,而是可以接受任何实现了Embeddable trait的类型。这一变化显著提高了组件的灵活性,允许用户直接使用自定义类型而无需进行类型转换。

3. 自定义派生宏

为了简化使用,项目还实现了一个自定义派生宏,可以自动为结构体派生Embeddable trait。这个宏大大减少了样板代码,使开发者能够更专注于业务逻辑。

技术实现细节

在实现过程中,团队考虑了多个技术细节:

  1. 为多种基本类型实现了Embeddable trait,确保广泛的兼容性
  2. 宏实现中加入了严格的错误处理,包括:
    • 当没有嵌入标签时的失败处理
    • 当嵌入内容为空字符串时的处理
    • 自定义嵌入函数中的错误处理
  3. 所有权和借用关系的仔细设计,特别是在embeddings.rs模块中
  4. 文档字符串的全面更新,确保良好的开发者体验

接口设计决策

一个重要决策是关于build()方法的返回类型。经过讨论,团队决定返回Embedding对象而非简单字符串。Embedding对象包含更多上下文信息,其中文档字符串可用于调试目的。

性能考量

在重构过程中,团队发现并修复了内存向量存储中的搜索性能问题。此外,还对内存存储的实现进行了优化,使其能够处理build方法返回的两种不同类型。

测试与质量保证

为确保重构质量,团队:

  1. 实现了全面的测试套件
  2. 将宏作为可选功能通过特性标志提供
  3. 进行了彻底的代码审查

这次重构显著提高了0xPlaygrounds/rig项目中嵌入功能的灵活性和易用性,为未来的扩展奠定了坚实基础。通过引入trait和派生宏,开发者现在可以更自然地集成自定义类型,同时保持了代码的清晰性和可维护性。

登录后查看全文
热门项目推荐

项目优选

收起
kernelkernel
deepin linux kernel
C
22
6
docsdocs
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
154
1.98 K
ops-mathops-math
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
506
42
nop-entropynop-entropy
Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台,包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分,采用java语言实现,可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用
Java
8
0
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
194
279
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
992
395
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
940
554
communitycommunity
本项目是CANN开源社区的核心管理仓库,包含社区的治理章程、治理组织、通用操作指引及流程规范等基础信息
335
11
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
146
191
金融AI编程实战金融AI编程实战
为非计算机科班出身 (例如财经类高校金融学院) 同学量身定制,新手友好,让学生以亲身实践开源开发的方式,学会使用计算机自动化自己的科研/创新工作。案例以量化投资为主线,涉及 Bash、Python、SQL、BI、AI 等全技术栈,培养面向未来的数智化人才 (如数据工程师、数据分析师、数据科学家、数据决策者、量化投资人)。
Python
75
70