SqlDatabaseVectorSearch 的项目扩展与二次开发

项目的基础介绍

SqlDatabaseVectorSearch 是一个开源项目，旨在展示如何在 Azure SQL Database 中使用原生 VECTOR 类型进行文本嵌入和检索增强生成（RAG）操作，该项目与 Azure OpenAI 服务集成，支持用户将文档加载到数据库中，生成文本嵌入并将其保存为向量，进而使用向量搜索和 RAG 进行搜索和交互。

项目的核心功能

• 文档加载与嵌入：支持加载 PDF、DOCX、TXT 和 MD 格式的文档，并生成文本嵌入。
• 数据库集成：使用 Entity Framework Core 和 EFCore.SqlServer.VectorSearch 库将向量保存和检索到 Azure SQL Database。
• 交互式搜索：提供基于文本嵌入的搜索功能，允许用户进行查询并获取相关的文档。
• 对话历史与问题重铸：用户可以查看对话历史，并重铸问题以获得更清晰的答案。
• 信息关于令牌使用：提供了详细的令牌使用信息，帮助用户了解和管理交互过程中的令牌消耗。
• 响应流式传输：支持实时流式传输响应，提供更流畅的用户体验。

项目使用了哪些框架或库？

• .NET Core：作为主要的开发框架。
• Entity Framework Core：用于数据库操作ORM框架。
• EFCore.SqlServer.VectorSearch：针对 SQL Server 的 Vector 搜索的扩展库。
• Azure OpenAI：用于生成文本嵌入和进行语义理解的AI服务。
• Blazor Web App：构建交互式Web应用程序。
• Minimal API：提供程序化接口，用于与嵌入和RAG交互。

项目的代码目录及介绍

项目的代码目录结构如下：

SqlDatabaseVectorSearch/
│
├── assets/                # 存储项目相关资源
├── Scripts.sql            # SQL 脚本文件
├── SqlDatabaseVectorSearch.sln    # 解决方案文件
├── appsettings.json        # 应用程序配置文件
├── README.md              # 项目说明文件
│
├── src/                   # 源代码目录
│   ├── SqlDatabaseVectorSearch.Api    # API项目源代码
│   └── SqlDatabaseVectorSearch.Web    # Web应用程序源代码
│
└── test/                  # 测试代码目录（如果有的话）

对项目进行扩展或者二次开发的方向

• 增加文档格式支持：可以添加更多文档格式的解析和处理能力，例如对更多类型的文档进行嵌入处理。
• 模型优化与扩展：集成更多 Azure OpenAI 提供的嵌入模型，或者自定义模型，以适应不同的应用场景。
• 用户界面改进：优化Web界面，提供更直观和友好的用户交互体验。
• 多语言支持：增加对多语言文档的处理能力，支持不同语种的文本嵌入和搜索。
• 功能模块化：将项目中的功能模块化，方便重用和定制化开发。
• 安全性增强：加强项目安全，确保数据处理和传输的安全性。
• 性能优化：对数据库查询、文本处理等关键部分进行性能优化，提高系统响应速度。