推荐开源项目：ELI5——深度问答数据集与工具包

该项目许可证：BSD

项目网站 博客文章 数据探索平台

更新：

• ELI5已成为KILT基准的一部分，并提供了开发集和测试集的固定知识库快照注释。
• 现在可在Hugging Face的nlp库中找到ELI5，还有新的提取式和生成式方法示例。
• ELI5被纳入DodecaDialogue对话任务基准。

---

1、项目介绍

ELI5是一个专注于长形式问答的数据集，源自网络论坛上的"解释就像我是个五岁孩子"（Explain Like I'm Five）社区，配以从公开网络抓取的相关文档作为支持材料。该项目不仅提供了数据，还包含了创建数据集的全套脚本和序列模型的训练、评估工具，旨在推动深度学习在复杂问答领域的进步。

2、项目技术分析

数据创建过程分为三步：

1. 下载并过滤论坛数据，可以在单台机器上完成。
2. 使用计算集群下载并分词公开网络页面，大约需要48小时。
3. 应用TF-IDF启发式算法选择相关段落，构建最终约1000字的支持文档，并按比例分割为训练、验证和测试集。

此外，项目提供了一套基于Fairseq-py的序列到序列模型训练和生成框架，支持预处理、BPE编码应用以及模型的训练和评估。

3、项目及技术应用场景

• 研究：对于自然语言处理（NLP）、尤其是深度学习在问答系统中的应用，ELI5提供了高质量的资源。
• 教育：帮助学生和教师了解如何从原始文本中提取信息，以回答复杂问题。
• 开发：可以用于构建更强大的AI助手，如聊天机器人，能够提供详尽且深入的答案。
• 企业：可用于提高客户服务或内部知识检索系统的智能水平。

4、项目特点

• 全面性：涵盖超过七年的论坛问答数据，配合公开网络的广泛支持文档，确保了数据的多样性。
• 开放源代码：所有工具和数据处理步骤都公开透明，便于学术界和业界复用。
• 持续更新：定期加入新功能，如KILT基准支持和Hugging Face集成。
• 可扩展性：适用于大规模数据处理，易于适应不同的计算环境。

如果你正在寻找一个挑战性的数据集来推动你的AI系统，或者想要深入了解长篇幅问答的处理技术，ELI5无疑是一个值得尝试的项目。现在就开始参与吧，让我们一起推动自然语言理解的边界！