CoFiPruning: 结构化剪枝学习紧凑且准确模型

1. 项目介绍

CoFiPruning 是一个由普林斯顿大学提出的针对特定任务的结构化剪枝方法。该方法通过联合剪枝粗粒度（如自注意力或前馈层）和细粒度（如头、隐藏维度）模块，实现了高度并行化的子网络，并在不需要任何未标记数据的情况下，达到了与蒸馏方法相当的准确性和延迟。CoFiPruning 的关键洞察是使用不同粒度的多个掩码来控制每个参数的剪枝决策，这提供了最大的剪枝结构灵活性，并简化了优化过程。

2. 项目快速启动

以下是快速启动 CoFiPruning 项目的步骤：

首先，安装必要的依赖：

pip install -r requirements.txt

然后，运行以下脚本来开始训练：

bash scripts/run_CoFi.sh [TASK] [EX_NAME_SUFFIX] [EX_CATE] [PRUNING_TYPE] [TARGET_SPARSITY] [DISTILLATION_PATH] [DISTILL_LAYER_LOSS_ALPHA] [DISTILL_CE_LOSS_ALPHA] [LAYER_DISTILL_VERSION] [SPARSITY_EPSILON]

其中，[TASK] 是要执行的任务名称，例如 MNLI、QNLI 等；[EX_NAME_SUFFIX] 和 [EX_CATE] 是实验名称和类别后缀；[PRUNING_TYPE] 是剪枝类型；[TARGET_SPARSITY] 是目标稀疏度；[DISTILLATION_PATH] 是教师模型的路径；[DISTILL_LAYER_LOSS_ALPHA] 和 [DISTILL_CE_LOSS_ALPHA] 是层蒸馏和交叉熵蒸馏的权重；[LAYER_DISTILL_VERSION] 是层蒸馏版本；[SPARSITY_EPSILON] 是稀疏度约束的松弛因子。

3. 应用案例和最佳实践

以下是使用 CoFiPruning 的一些应用案例和最佳实践：

• 在 GLUE 和 SQuAD 数据集上进行剪枝，实现超过 10x 的速度提升，同时只牺牲少量准确性。
• 使用层蒸馏策略在优化过程中从未剪枝模型转移知识到剪枝模型。
• 在小规模数据集上，进行超参数搜索以获得最佳性能；在大规模数据集上，超参数的影响较小。

4. 典型生态项目

CoFiPruning 的典型生态项目包括：

• 使用 HuggingFace 接口的模型库，方便用户下载和使用已经剪枝的模型。
• 提供示例训练脚本和评估脚本来帮助用户快速开始自己的项目。
• 开发社区支持，用户可以在 GitHub 上提出问题和建议，以促进项目的进一步发展。