开源项目 xmc.dspy 使用教程

1. 项目介绍

xmc.dspy 是一个通用的模块化程序，旨在通过预训练的语言模型（Language Models）和检索器（Retrievers）之间的交互，高效地解决多标签分类任务。该项目特别适用于极端多标签分类（eXtreme Multi-Label Classification, XMC）任务，其中类别数量极大（≥10,000 类）。通过仅使用少量标注的输入示例，xmc.dspy 可以优化以达到最先进的性能，即使没有进行微调。

该项目的主要目标是使语言模型和检索器的推理和检索过程易于应用于广泛的涉及语言模型和检索的任务。通过解耦推理、检索和排序的逻辑，以及适应特定领域的提示和优化技术，xmc.dspy 提供了一个灵活且高效的解决方案。

2. 项目快速启动

2.1 安装环境

首先，创建并激活一个 Conda 环境：

conda create -n xmc python=3.10
conda activate xmc

2.2 安装依赖

克隆并安装 dspy 的实验分支：

git clone -b irera --single-branch https://github.com/stanfordnlp/dspy.git
cd dspy/
git checkout 802f2d5f26c1a64d8aad6adbd8b4394b9c4bb743
pip install .

安装其他依赖项：

pip install -r requirements.txt

2.3 加载数据

加载数据和缓存以重现结果：

bash scripts/load_data.sh
bash scripts/load_cache.sh

2.4 编译和运行

编译并运行 IReRa 程序：

bash scripts/compile_left_to_right.sh
bash scripts/run_left_to_right.sh

3. 应用案例和最佳实践

3.1 案例一：ESCO_TECH 数据集

在 ESCO_TECH 数据集上编译并评估 IReRa：

python run_irera.py \
  --dataset_name esco_tech \
  --state_path /results_precompiled/esco_tech_infer-retrieve-rank_00/program_state.json \
  --lm_config_path /lm_config.json \
  --do_validation \
  --do_test

3.2 最佳实践

• 优化策略：使用强大的教师语言模型（如 GPT-4）生成指令或演示，帮助更高效的学语言模型（如 LLaMA-2）更好地解决问题。
• 模块化设计：通过指定程序的不同部分使用哪些语言模型，可以在成本和性能之间找到最佳平衡。

4. 典型生态项目

4.1 DSPy

DSPy 是一个实验性的编程模型，用于定义语言模型和检索器之间的交互逻辑。xmc.dspy 依赖于 DSPy 的特定分支来实现其功能。

4.2 Sentence Transformers

Sentence Transformers 是一个用于生成句子嵌入的库，广泛用于检索任务。xmc.dspy 使用 Sentence Transformers 来处理标签的嵌入。

4.3 OpenAI API

OpenAI API 提供了访问 GPT-3.5 和 GPT-4 等强大语言模型的接口。xmc.dspy 可以通过设置 OpenAI API KEY 来使用这些模型。

通过以上步骤，您可以快速上手并使用 xmc.dspy 项目，解决极端多标签分类任务。