matchmaker 的安装和配置教程

项目基础介绍

matchmaker 是一个用于快速训练、评估和分析基于文本的神经重排和检索模型的研究库，使用 PyTorch 构建。它最初是为了支持 Transformer-Kernel 研究而创建的，现在已经发展为一个通用库，广泛支持知识蒸馏。

主要编程语言

该项目主要使用 Python 编程语言。

项目使用的关键技术和框架

• HuggingFace Transformers: 用于构建基于 Transformer 的模型。
• 知识蒸馏: 支持静态和动态教师模型，跨架构学生模型，成对、批量内负样本，双重监督等。
• 评价模型: 使用常见的 IR 指标评估重排和检索工作流。
• 实验管理: 支持基于文件夹的实验，配置和代码跟踪，以及堆叠实验。

项目安装和配置的准备工作

在开始安装前，请确保您的系统满足以下要求：

• Python 3.8（目前无法使用 3.9，因为 faiss 的原因）
• conda 环境
• GPU（推荐，但不是必需）

安装步骤

1. 创建并激活 conda 环境：

   conda create -n matchmaker python=3.8
   conda activate matchmaker
   

2. 克隆项目仓库到本地：

   git clone https://github.com/sebastian-hofstaetter/matchmaker.git
   cd matchmaker
   

3. 安装依赖：

   • 使用 conda 安装 faiss 和 PyTorch：

     conda install --file conda-requirements.txt -c conda-forge -c pytorch
     

   • 使用 pip 安装其余依赖：

     pip install -r pip-requirements.txt
     

4. （可选）如果你想要使用 ONNX 运行时（目前仅在 dense_retrieval.py 中实现），你需要手动安装 cuDNN 8.0。下载 cuDNN 8.0 并将其包含的文件复制到 conda 环境的相应路径下。

5. 安装完成后，你可以按照项目的文档和指南开始训练和评估模型。

请注意，在安装过程中遇到任何问题，可以查看项目的 README.md 文件，其中包含了更详细的安装指南和故障排除信息。