基于Azure AI的文件搜索项目实战指南

项目概述

Azure AI文件搜索项目展示了如何将大型语言模型(LLMs)与外部数据源检索能力相结合，从而显著提升应用程序的响应质量。该项目实现了一个智能搜索系统，当用户提出问题时，系统会先搜索相关文档(以嵌入向量形式存储)，然后利用这些上下文信息生成更准确、更相关的回答。

核心技术原理

嵌入向量与语义搜索

该系统采用了先进的嵌入向量技术，将文本内容转换为数值表示。具体实现中：

1. 使用OpenAI的text-embedding-3-small模型生成100维的嵌入向量
2. 将文档内容按每10个句子为一个块进行分割
3. 每个文本块被转换为对应的嵌入向量
4. 这些向量存储在CSV文件中(embeddings.csv)

混合搜索机制

系统支持两种搜索方式的混合使用：

1. 语义搜索：利用LLM理解查询的语义含义
2. 向量相似度搜索：基于嵌入向量的数学相似度计算

这种混合方法确保了搜索结果既符合语义相关性，又能保持数学上的相似性。

自定义数据集集成

要将自己的数据集集成到系统中，可以使用提供的SearchIndexManager工具类。以下是关键步骤：

1. 初始化搜索索引管理器

from .api.search_index_manager import SearchIndexManager

search_index_manager = SearchIndexManager(
    endpoint=your_search_endpoint,
    credential=your_credentials,
    index_name=your_index_name,
    dimensions=100,
    model=your_embedding_model,
    deployment_name=your_embedding_model,
    embedding_endpoint=your_search_endpoint_url,
    embed_api_key=embed_api_key,
    embedding_client=embedding_client
)

2. 构建嵌入向量文件

search_index_manager.build_embeddings_file(
    input_directory=input_directory,
    output_file=output_directory,
    sentences_per_embedding=10
)

参数说明：

• sentences_per_embedding：控制每个嵌入向量包含的句子数量，数值越大，搜索时考虑的上下文范围越广
• input_directory：存放原始数据文件的目录
• output_directory：生成的嵌入向量文件输出路径

部署配置指南

要启用AI搜索功能，需要设置以下环境变量：

PowerShell环境

$env:USE_AZURE_AI_SEARCH_SERVICE="true"
$env:AZURE_AI_SEARCH_INDEX_NAME="index_sample"
$env:AZURE_AI_EMBED_DEPLOYMENT_NAME="text-embedding-3-small"

Bash环境

export USE_AZURE_AI_SEARCH_SERVICE="true"
export AZURE_AI_SEARCH_INDEX_NAME="index_sample"
export AZURE_AI_EMBED_DEPLOYMENT_NAME="text-embedding-3-small"

CMD环境

set USE_AZURE_AI_SEARCH_SERVICE=true
set AZURE_AI_SEARCH_INDEX_NAME=index_sample
set AZURE_AI_EMBED_DEPLOYMENT_NAME=text-embedding-3-small

环境变量说明：

• USE_AZURE_AI_SEARCH_SERVICE：启用/禁用索引搜索功能(默认禁用)
• AZURE_AI_SEARCH_INDEX_NAME：指定使用的Azure搜索索引名称
• AZURE_AI_EMBED_DEPLOYMENT_NAME：指定用于创建嵌入向量的模型部署名称

搜索索引管理

创建索引

系统提供了编程方式创建索引的方法：

# 创建Azure搜索索引(如果不存在)
await search_index_manager.create_index(raise_on_error=True)

# 上传嵌入向量到索引
await search_index_manager.upload_documents(embeddings_path)

注意事项：

1. 如果索引已存在，系统会直接使用现有索引
2. 仅在初始化SearchIndexManager时未提供维度信息的情况下，才需要vector_index_dimensions参数
3. 索引必须包含"title"字段，用于提供正确的引用信息

最佳实践建议

1. 数据预处理：确保输入数据经过适当的清洗和格式化
2. 嵌入向量维度：根据数据复杂度选择合适的维度大小
3. 块大小调整：通过实验确定最佳的sentences_per_embedding值
4. 性能监控：定期检查搜索响应时间和准确性
5. 索引更新：建立定期更新索引的机制以保持数据新鲜度

通过本项目的实现，开发者可以快速构建一个结合了大型语言模型和精确文档检索能力的智能搜索系统，显著提升应用程序的信息检索质量和用户体验。