RankGPT 项目使用文档

1. 项目目录结构及介绍

RankGPT 项目的目录结构如下：

RankGPT/
├── assets/
├── NovelEval/
├── InstructDistill/
├── LICENSE.txt
├── README.md
├── pointwise.py
├── rank_gpt.py
├── rank_loss.py
├── requirements.txt
├── run_evaluation.py
├── specialization.py
└── trec_eval.py

目录介绍

• assets/: 存放项目相关的资源文件，如图片、文档等。
• NovelEval/: 包含 NovelEval 测试集的相关文件。
• InstructDistill/: 包含指令蒸馏相关的代码和文件。
• LICENSE.txt: 项目的许可证文件。
• README.md: 项目的介绍和使用说明。
• pointwise.py: 点对点排序的相关代码。
• rank_gpt.py: RankGPT 核心代码，用于生成排列和重排序。
• rank_loss.py: 排序损失函数的相关代码。
• requirements.txt: 项目依赖的 Python 包列表。
• run_evaluation.py: 运行评估的脚本。
• specialization.py: 模型蒸馏和特殊化的相关代码。
• trec_eval.py: TREC 评估工具的相关代码。

2. 项目启动文件介绍

项目的启动文件主要是 run_evaluation.py 和 specialization.py。

run_evaluation.py

该文件用于运行评估脚本，评估 RankGPT 在不同基准数据集上的表现。使用方法如下：

python run_evaluation.py

specialization.py

该文件用于将大型语言模型蒸馏为小型专用模型。使用方法如下：

python specialization.py \
    --model microsoft/deberta-v3-base \
    --loss rank_net \
    --data data/marco-train-10k.jsonl \
    --permutation marco-train-10k-gpt3.5.json \
    --save_path out/deberta-10k-rank_net \
    --do_train true \
    --do_eval true

3. 项目的配置文件介绍

项目的配置文件主要是 requirements.txt，该文件列出了项目运行所需的 Python 包及其版本。

requirements.txt

openai
pyserini
transformers
torch
numpy
pandas
tqdm

这些包可以通过以下命令安装：

pip install -r requirements.txt

通过以上步骤，您可以顺利启动和配置 RankGPT 项目，并进行相关的评估和模型蒸馏操作。