推荐使用：Multi-CPR——多领域中文篇章检索数据集

项目简介

Multi-CPR是SIGIR2022大会上发布的多领域中文篇章检索数据集，涵盖了电子商务、娱乐视频和医疗三大领域。该数据集由数百万篇经过人工标注的查询与篇章对组成，旨在推动中英文本检索技术的发展。

项目技术分析

Multi-CPR的数据格式统一，便于处理。每个查询都有一个唯一标识符（qid），每个篇章也有其独立的标识符（pid）。提供的人工标注示例展示了不同领域的多样性。此外，项目还包含了基于Multi-CPR进行的实验实现，包括如何利用BERT进行密集检索和重排名模型的训练，这些代码基于先前的tevatron和reranker项目。

应用场景

1. 电子商务：帮助用户快速从大量商品描述中找到匹配的物品。
2. 娱乐视频：让视频搜索引擎能够准确地向用户提供相关的视频内容。
3. 医疗：辅助医生或病人从医学文献库中寻找疾病、症状的相关信息。

项目特点

• 多元领域：涵盖多个专业领域，适应不同的应用需求。
• 大规模数据：包含数百万条数据，为深度学习提供了充足的训练素材。
• 高质量标注：所有查询-篇章对均有人工标注，保证了检索结果的准确性。
• 开源模型：提供基于DPR和ROM模型的预训练版本，且已在ModelScope平台上开放，方便直接应用于实际场景。
• 易用性：清晰的数据结构和代码实现，使得项目易于理解和复用。

如果你的项目涉及文本检索，无论是开发新的算法还是优化现有系统，Multi-CPR都是一个值得信赖的资源。引用这个项目时，请记得参照提供的BibTeX条目以尊重原作者的贡献。

@inproceedings{Long2022MultiCPRAM,
  author    = {Dingkun Long and Qiong Gao and Kuan Zou and Guangwei Xu and Pengjun Xie and Ruijie Guo and Jian Xu and Guanjun Jiang and Luxi Xing and Ping Yang},
  title     = {Multi-CPR: {A} Multi Domain Chinese Dataset for Passage Retrieval},
  booktitle = {{SIGIR}},
  pages     = {3046--3056},
  publisher = {{ACM}},
  year      = {2022}
}

立即探索Multi-CPR，提升你的文本检索技术到新的高度！