FlagEmbedding 教程

1. 项目介绍

FlagEmbedding 是一个用于文本向量化处理的开源库，它能够将任意文本映射到低维稠密向量中，以供检索、分类、聚类或语义搜索等任务使用。此外，该库也适用于LLMs（大型语言模型）中的矢量数据库。FlagEmbedding持续更新，例如集成BGE模型到Langchain，并发布不同规模的模型，包括在多个基准测试中表现出色的BAAI General Embedding模型。

2. 项目快速启动

首先，确保您已经安装了Python和Git。接下来，克隆FlagEmbedding仓库并创建一个虚拟环境：

# 克隆项目
git clone https://github.com/FlagOpen/FlagEmbedding.git

# 创建并激活虚拟环境
python -m venv env
source env/bin/activate  # 对于Windows用户，使用 `.\env\Scripts\activate`

# 安装依赖
cd FlagEmbedding
pip install -r requirements.txt

要运行示例，查看项目根目录下的example文件夹，里面通常会有演示如何使用FlagEmbedding的脚本。

3. 应用案例和最佳实践

检索任务

from flagembedding import FlagEmbedding

# 初始化模型
model = FlagEmbedding('path/to/model')

# 对查询进行编码
query_embedding = model.encode('你的查询')

# 假设你有一批已编码的文档
doc_embeddings = [model.encode(doc) for doc in documents]

# 计算相似度并获取最相关的文档
similarity_scores = [(doc_id, cosine_similarity(query_embedding, doc)) 
                     for doc_id, doc in enumerate(doc_embeddings)]
top_n_results = sorted(similarity_scores, key=lambda x: x[1], reverse=True)[:n]

使用预训练模型

根据最新的版本，可以尝试BGE系列的预训练模型，如bge-large-*，这些模型在多项基准测试中表现优异。

from flagembedding.models.bge import BGEModel

# 加载模型
bge_model = BGEModel.from_pretrained('bge-large-xyz')  # 替换xyz为具体模型名称

4. 典型生态项目

• Langchain: 旗标嵌入模型已经集成到Langchain中，允许更方便地在多任务和跨模态环境中使用。
• C-MTEB: 旗标团队还发布了中国大规模文本嵌入基准(C-MTEB)，包含31个测试数据集，用于评估模型性能。

欲了解更多详细信息，建议参考FlagEmbedding的官方文档和GitHub仓库中的示例代码。