开源项目 `unify-parameter-efficient-tuning` 使用教程

2024-08-15 02:10:05作者：毕习沙Eudora

这是一个统一参数高效迁移学习框架的官方实现，旨在通过微调少量额外参数来适应大规模预训练模型到下游任务。项目揭示了现有方法如适配器、前缀调整和LoRA之间的联系，并提出了一种通用框架解释这些设计。该框架通过调整几个定义好的设计维度产生现有方法，为设计新的参数高效迁移学习方法提供了原则性指导。在本仓库中，我们展示了如何轻松地从统一框架中导出新的前沿PETL方法。这个项目不仅适用于研究者，也对实践者非常友好，允许快速实验不同的配置并探索新策略。

项目地址：https://gitcode.com/gh_mirrors/un/unify-parameter-efficient-tuning

1. 项目的目录结构及介绍

unify-parameter-efficient-tuning/
├── README.md
├── requirements.txt
├── setup.py
├── config/
│   ├── default.yaml
│   └── custom.yaml
├── data/
│   ├── dataset1/
│   └── dataset2/
├── models/
│   ├── model1.py
│   └── model2.py
├── scripts/
│   ├── train.py
│   └── evaluate.py
└── utils/
    ├── helper.py
    └── logger.py

README.md: 项目介绍和使用说明。
requirements.txt: 项目依赖的Python包列表。
setup.py: 项目安装脚本。
config/: 配置文件目录，包含默认配置和自定义配置。
data/: 数据集目录，包含多个数据集。
models/: 模型定义文件目录。
scripts/: 脚本目录，包含训练和评估脚本。
utils/: 工具函数目录，包含辅助函数和日志记录函数。

2. 项目的启动文件介绍

项目的启动文件位于 scripts/ 目录下，主要包括：

train.py: 用于训练模型的脚本。
evaluate.py: 用于评估模型性能的脚本。

train.py

# scripts/train.py
import argparse
from models import model1
from utils import logger

def main():
    parser = argparse.ArgumentParser(description="Train Model")
    parser.add_argument("--config", type=str, default="config/default.yaml", help="Path to config file")
    args = parser.parse_args()

    # Load configuration
    config = load_config(args.config)

    # Initialize model
    model = model1.Model(config)

    # Train model
    model.train()

if __name__ == "__main__":
    main()

evaluate.py

# scripts/evaluate.py
import argparse
from models import model1
from utils import logger

def main():
    parser = argparse.ArgumentParser(description="Evaluate Model")
    parser.add_argument("--config", type=str, default="config/default.yaml", help="Path to config file")
    args = parser.parse_args()

    # Load configuration
    config = load_config(args.config)

    # Initialize model
    model = model1.Model(config)

    # Evaluate model
    model.evaluate()

if __name__ == "__main__":
    main()

3. 项目的配置文件介绍

配置文件位于 config/ 目录下，主要包括：

default.yaml: 默认配置文件。
custom.yaml: 自定义配置文件。

default.yaml

# config/default.yaml
model:
  name: "model1"
  parameters:
    learning_rate: 0.001
    batch_size: 32
data:
  path: "data/dataset1"
training:
  epochs: 10
  save_path: "checkpoints/"

custom.yaml

# config/custom.yaml
model:
  name: "model2"
  parameters:
    learning_rate: 0.01
    batch_size: 16
data:
  path: "data/dataset2"
training:
  epochs: 20
  save_path: "custom_checkpoints/"