XMC.dspy: 极端多标签分类的上下文学习教程

2024-09-27 06:00:27作者：柏廷章Berta

xmc.dspy

In-Context Learning for eXtreme Multi-Label Classification (XMC) using only a handful of examples.

本指南将带您深入了解XMC.dspy——一个通过少量示例实现极端多标签分类（XMC）的通用且模块化程序。我们将详细解析其目录结构、启动文件以及配置文件，以便您能够高效地使用或贡献于这个项目。

1. 目录结构及介绍

XMC.dspy 的项目布局精心设计，以支持清晰的开发流程和模块化组件。以下是主要的目录和文件说明：

- `data/`: 存放数据集加载所需的原始数据或预处理后的数据。
- `docs/`: 文档资料，可能包括开发指南或额外的说明文档。
- `results_precompiled/`: 预编译的结果文件夹，存储了可以直接运行的程序状态。
- `scripts/`: 包含用于数据加载、缓存、编译和运行程序的脚本。
- `src/`: 核心源代码，细分如下：
    - `data_loaders.py`: 定义数据加载逻辑，为不同任务加载验证和测试数据。
    - `programs/`: 包括主程序`infer_retrieve_rank.py`和其他与程序相关的模块。
        - `signatures.py`: 自定义签名文件，用于定义任务的输入输出和上下文。
        - `config.py`: 配置文件，控制程序的行为和参数。
    - `metrics.py`: 定义评价指标。
    - `evaluators.py`: 封装评价指标的DSPy逻辑。
    - `optimizer.py`: 定义优化器策略。
- `.gitignore`: 控制Git忽略的文件类型。
- `LICENSE`: 开源许可证文件，采用MIT协议。
- `readme.md`: 项目的主要说明文档。
- `requirements.txt`: 项目依赖库列表。
- `lm_config.json`: 语言模型配置文件，指向本地或云上的LM服务。

2. 项目启动文件介绍

主要启动脚本 - `run_irera.py` 和 `compile_irera.py`

run_irera.py: 允许用户加载预编译的程序状态，并在特定的数据集上进行验证或测试。这是快速评估预训练模型性能的主要方式。
compile_irera.py: 编译新的IReRa程序，涉及设定不同的模型、优化器等，适合在新任务或自定义设置下创建并优化模型。

使用这些脚本前，确保已正确配置环境和所需资源。

3. 项目的配置文件介绍

`lm_config.json`

配置文件之一，lm_config.json 关键在于指定语言模型的细节，无论是本地部署的还是如OpenAI的云端模型。它包含模型的URL、API密钥等信息，确保模型调用的顺畅执行。例如，对于云模型，需要设置正确的API Key，而对于本地模型，则需指明Text Generation Interface (TGI)服务器的位置。