CoFiPruning 使用指南

一、项目目录结构及介绍

CoFiPruning 是一个基于结构化剪枝的学习紧凑且精确模型的方法，提出的框架在 ACL 2022 上发表。以下是该仓库的基本目录结构及其简介：

CoFiPruning/
│  
├── ACL2022_talk.pdf        # ACL 2022 讲座幻灯片
├── figures                 # 图表和可视化资料
├── models                  # 模型相关文件或预训练模型的说明
├── notebooks               # Jupyter Notebook 形式的教程或实验代码
├── scripts                 # 包含主要运行脚本，如训练和评估脚本
│   ├── run_CoFi.sh         # 主要的训练脚本
│   └── ...
├── trainer                 # 训练器相关的实现
├── utils                   # 工具函数集合
├── .gitignore              # Git 忽略文件配置
├── LICENSE                 # 开源许可证文件
├── README.md               # 项目的主要说明文档
├── args.py                 # 脚本运行时的参数定义
├── evaluation.py           # 用于模型评估的脚本
├── glue.py                 # 针对 GLUE 数据集的任务处理脚本
├── requirements.txt        # 项目依赖库列表
├── run.sh                  # 运行脚本示例
├── run_glue_prune.py       # GLUE 剪枝任务运行脚本
├── run_qa_prune.py         # 问答任务剪枝运行脚本
└── test.py                 # 测试脚本

二、项目的启动文件介绍

核心脚本：scripts/run_CoFi.sh

这个脚本是用于执行 CoFiPruning 方法的核心训练脚本。它支持以不同的训练单元和目标组合进行训练，并能够用于模型的剪枝过程。通过调整脚本中的参数，你可以控制模型的剪枝类型（如头部、MLP层、隐藏状态、层的剪枝），目标稀疏度，以及是否采用蒸馏策略等关键因素。此外，脚本还提供选项来继续对剪枝后的模型进行微调。

例如，以下命令将启动针对MNLI任务的剪枝过程，目标稀疏度为95%，并使用特定的超参数配置：

bash scripts/run_CoFi.sh MNLI sparsity0.95 CoFi structured_heads+structured_mlp+hidden+layer 0.95 [DISTILLATION_PATH] 0.9 0.1 4 0.01

三、项目的配置文件介绍

CoFiPruning 的配置更多是通过命令行参数来指定，而不是传统的独立配置文件。用户在运行 scripts/run_CoFi.sh 或其他脚本时，需要通过命令行参数来设定诸如任务名称(--task_name)、实验分类名(--ex_cate)、剪枝类型(--pruning_type)、目标稀疏度(--target_sparsity)等重要配置项。这些参数直接决定了模型训练和剪枝的过程。

虽然没有单独的配置文件，但可以通过创建脚本或环境变量的方式来管理这些配置，保证实验的一致性和可复现性。例如，可以设置环境变量存储常使用的参数值，或者创建一系列脚本文件，每个文件对应一套不同的实验设置。

为了更细致地控制训练流程和模型设置，开发者可以在 args.py 中添加或修改默认参数，间接作为“配置”的一部分。这要求用户熟悉Python和项目内部逻辑，以便自定义配置而不直接通过外部配置文件。

请注意，为了使用该项目，你需要安装必要的依赖项，这些信息通常记录在 requirements.txt 文件中，通过运行 pip install -r requirements.txt 来安装。