ExpertQA 开源项目教程

1. 项目介绍

ExpertQA 是一个由专家策划的问题和归因答案的数据集。该项目旨在为研究人员和开发者提供一个经过验证的问题集合，这些问题在事实性和归因性方面进行了多方面的检验。ExpertQA 包含了2177个示例，这些示例覆盖了不同领域和特定领域的问题，以及相应的答案和证据。

2. 项目快速启动

要快速启动 ExpertQA 项目，请按照以下步骤操作：

首先，克隆项目仓库：

git clone https://github.com/chaitanyamalaviya/ExpertQA.git
cd ExpertQA

接着，安装必要的依赖：

pip install -r requirements.txt

然后，加载数据集：

from data_utils.example_utils import read_examples

data = read_examples("data/r2_compiled_anon.jsonl")

以上代码将加载项目中的主要数据集。

3. 应用案例和最佳实践

以下是使用 ExpertQA 的一些应用案例和最佳实践：

• 数据加载：使用 data_utils 模块中的 read_examples 函数来加载不同格式的数据文件。
• 答案归因：通过 modeling/auto_attribution 目录下的脚本来自动估计答案的归因。
• 事实性评估：使用 modeling/fact_score 目录下的脚本对数据集中的声明进行事实性评估。

4. 典型生态项目

ExpertQA 可以与以下典型生态项目配合使用：

• FlanT5-XXL：用于长篇 QA 训练的模型，可以通过 modeling/lfqa/run_gen_qa.py 脚本进行微调。
• Llama-2-7B 和 Vicuna-7B：这些模型也可以用于 QA 训练，并通过 modeling/lfqa/run_sft_qa.py 脚本进行微调。
• QAFactEval：一个评估模型，用于评估生成答案的事实性。可以通过下载 QAFactEval 模型并进行相应的配置来使用。

以上是 ExpertQA 开源项目的简要教程，更多详细信息和高级用法请参考项目官方文档和代码仓库。