FlagEmbedding项目微调教程：金融领域数据准备实战

前言

在自然语言处理领域，微调预训练模型是提升模型在特定领域表现的关键步骤。本文将以FlagEmbedding项目为例，详细介绍如何为金融领域的微调任务准备数据集。通过本教程，您将掌握从原始数据到训练/测试集构建的完整流程。

环境准备

在开始数据准备前，我们需要安装必要的Python库：

pip install -U datasets

这里我们使用datasets库来加载和处理数据集，该库提供了高效的数据加载和转换功能。

数据集介绍

我们选用了一个开源的金融问答数据集，该数据集包含以下特征：

• 5个字段：问题(question)、答案(answer)、上下文(context)、股票代码(ticker)和文件(filing)
• 共7000条数据记录

原始数据结构如下：

from datasets import load_dataset
ds = load_dataset("virattt/financial-qa-10K", split="train")
ds

微调数据格式要求

FlagEmbedding项目对微调数据有特定的格式要求，需要构建如下结构：

{
    "query": str,               # 查询文本
    "pos": List[str],           # 正例文本列表
    "neg": List[str],           # 负例文本列表
    "pos_scores": List[int],    # 查询与正例的匹配分数(可选)
    "neg_scores": List[int],    # 查询与负例的匹配分数(可选)
    "prompt": str,              # 查询提示词
    "type": str                 # 数据类型标识
}

关键字段说明

1. query: 表示用户的查询语句
2. pos: 与查询相关的正例文本列表
3. neg: 与查询不相关的负例文本列表
4. prompt: 用于查询的提示词，在推理阶段会覆盖query_instruction_for_retrieval
5. type: 用于特定模型变体，包括normal、symmetric_class等类型

数据转换步骤

1. 基础字段转换

首先，我们选择需要的字段并进行重命名：

ds = ds.select_columns(column_names=["question", "context"])
ds = ds.rename_column("question", "query")
ds = ds.rename_column("context", "pos")
ds = ds.add_column("id", [str(i) for i in range(len(ds))])

转换后的单条数据示例：

{
    'query': 'NVIDIA最初专注于哪个领域？',
    'pos': '我们最初专注于PC图形领域...',
    'id': '0'
}

2. 负例采样

在嵌入模型训练中，负例对模型学习区分相关和不相关文本至关重要。由于原始数据没有提供负例，我们需要从整个语料库中随机采样：

import numpy as np

np.random.seed(520)  # 固定随机种子保证可复现性
neg_num = 10  # 每个查询的负例数量

def str_to_lst(data):
    data["pos"] = [data["pos"]]  # 将正例转为列表形式
    return data

# 负例采样
new_col = []
for i in range(len(ds)):
    ids = np.random.randint(0, len(ds), size=neg_num)
    while i in ids:  # 确保不采样自身作为负例
        ids = np.random.randint(0, len(ds), size=neg_num)
    neg = [ds[i.item()]["pos"] for i in ids]
    new_col.append(neg)
ds = ds.add_column("neg", new_col)

# 转换正例格式
ds = ds.map(str_to_lst)

3. 添加提示词

为查询添加统一的提示词，该提示词将在推理阶段使用：

instruction = "Represent this sentence for searching relevant passages: "
ds = ds.add_column("prompt", [instruction]*len(ds))

4. 数据分割

将数据集划分为训练集和测试集：

split = ds.train_test_split(test_size=0.1, shuffle=True, seed=520)
train = split["train"]  # 90%训练数据
test = split["test"]    # 10%测试数据

5. 保存训练数据

train.to_json("ft_data/training.json")

评估数据准备

为了评估微调后的模型性能，我们需要准备专门的测试数据：

1. 查询数据

queries = test.select_columns(column_names=["id", "query"])
queries = queries.rename_column("query", "text")

2. 语料库数据

corpus = ds.select_columns(column_names=["id", "pos"])
corpus = corpus.rename_column("pos", "text")

3. 查询-文档相关性标注

qrels = test.select_columns(["id"])
qrels = qrels.rename_column("id", "qid")
qrels = qrels.add_column("docid", list(test["id"]))
qrels = qrels.add_column("relevance", [1]*len(test))  # 1表示相关

4. 保存评估数据

queries.to_json("ft_data/test_queries.jsonl")
corpus.to_json("ft_data/corpus.jsonl")
qrels.to_json("ft_data/test_qrels.jsonl")

总结

通过本教程，我们完成了FlagEmbedding项目微调前的完整数据准备工作，包括：

1. 原始数据的选择和转换
2. 负例的采样策略
3. 提示词的添加
4. 训练/测试集的划分
5. 评估数据的专门准备

这些步骤确保了数据格式符合模型微调的要求，为后续的模型训练和评估打下了坚实基础。在实际应用中，您可以根据具体领域需求调整数据采样策略和提示词设计，以获得更好的微调效果。