探秘实时开放领域问答：Dense-Sparse Phrase Index

这个项目，名为Dense-Sparse Phrase Index，是一个即将在 ACL 2019 上发表的创新解决方案，它将开放领域的问答（Open-Domain QA）转化为纯粹的短语检索问题。项目的核心在于对在线百科全书中的每一个短语进行枚举、嵌入和索引，使得整个百科全书能在0.5秒内通过CPU被读取，实现比"检索&阅读"模型快至少58倍的长尾答案检索速度。

实时演示与预设环境

你可以尝试其在线实时演示，或将其部署到本地。但请注意，这将需要大约1.5TB的存储空间，并且建议使用至少4核CPU和30GB内存。如果你选择Google Cloud，强烈推荐使用成本更低且访问延迟更小的Local SSD。

部署步骤

1. 确保使用Conda并创建Python 3.6环境。
2. 手动安装faiss-cpu（不支持pip安装）。
3. 安装DrQA及其所需的Java JDK。
4. 使用pip安装两个requirements.txt文件内的依赖。

数据下载

模型和数据文件托管在Google Cloud Storage上，需先安装gsutil进行下载。所有文件一次性下载将占用约1.5TB空间。

运行Demo

首先运行服务端，提供一个GET接口以获取问题的向量表示。然后启动演示服务器，在一分钟内即可开始服务。

自定义训练

已提供了预先训练好的模型，但如果你想自定义训练，可以分为三步：

1. 在SQuAD v1.1数据集上进行初步训练。
2. 加入负样本进行微调。
3. 最后训练分类器，只更新末端的分类层。

创建自定义短语索引

你可以从SQuAD的开发数据集创建一个小型索引进行测试，或者使用自己的文档。使用训练好的模型，先导出短语向量，再构建FAISS索引，最后处理TF-IDF向量。

应用于大规模数据

对于更大的索引，如百科全书全库，可能需要分布式处理和更大的内存资源来构建FAISS索引。

支持与致谢

有任何问题，请通过Github Issues提出。本项目大量借鉴了faiss，DrQA以及BERT，特别是Huggingface的PyTorch实现版本。感谢这些开源项目的贡献！

这个项目不仅提供了高速的问答解决方案，还让开发者有机会自定义训练和创建索引，为研究者和开发者开辟了一个全新的探索领域。无论是学术研究还是实际应用，Dense-Sparse Phrase Index都是值得尝试的工具。