全量微调 vs LoRA vs Adapter vs Prefix Tuning:6 种 PEFT 参数高效微调方法完整横评
全量微调 vs LoRA vs Adapter vs Prefix Tuning:6 种 PEFT 参数高效微调方法完整横评
在微调大语言模型时,全量微调 vs LoRA 该选谁,一直是新手最纠结的问题。开源项目 parameter_efficient_instruction_tuning 给出了答案:它在同一套指令微调基准(NI / SuperNI 数据集)上,系统性地横向对比了 6 种主流参数高效微调(PEFT, Parameter-Efficient Fine-Tuning)方法——全量微调、LoRA、Adapter、Prefix Tuning、Prompt Tuning 与 BitFit,并用网格搜索(grid search)统一了超参设置。本文带你读懂每种方法的工作原理、可训练参数规模差异,以及如何用这个仓库一键复现实验。🔍
一、什么是 PEFT?为什么不用全量微调
全量微调(Full Fine-Tuning)会更新模型的所有参数,一个 3B 的模型动辄需要十几 GB 显存和数小时的 GPU 时间。而 PEFT 的思路是:冻结原始权重,只训练一小撮"外挂"参数,可训练参数通常只有全量的 0.1%~1%,显存和时间成本大幅下降,效果却往往能接近全量微调。
本项目的核心代码入口是训练脚本 prompt_tuning.py,它通过 --tuning_mode 参数在 6 种模式间切换;具体的模块挂载逻辑集中在 peft_trainer.py 的 configure_n_load_peft_module() 方法中(peft_trainer.py 第 1264 行起),各模式的配置类实现则位于 src/peft/tuners/ 目录下。
二、6 种方法一张表看懂
| 方法 | 核心思想 | 可训练部分 | 关键超参 | 实现位置 |
|---|---|---|---|---|
| 全量微调 | 无 | 全部参数 | 仅学习率 | hp_run.sh |
| LoRA | 在注意力层旁路注入低秩矩阵 A/B | 低秩分解矩阵 | lora_r、lora_alpha、lora_modules |
lora.py |
| Adapter | 在每层后插入小型 Bottleneck 模块 | Adapter 模块 | adapter_size |
adapter.py |
| Prefix Tuning | 在输入前拼接可学习的"虚拟前缀" | 前缀向量(可选投影层) | prefix_len、bottleneck_size |
prefix_tuning.py |
| Prompt Tuning | 在词嵌入前拼接软提示向量 | 虚拟 token 嵌入 | prompt_len |
prompt_tuning.py |
| BitFit | 只训练偏置(bias)参数 | 模型偏置项 | bias_name |
hp_run.sh |
💡 代码库中其实还支持 IA³ 和 P-Tuning 等模式(见 src/peft/utils/config.py 中的
PeftType枚举),但论文实验聚焦上表 6 种。
三、各方法详解与关键参数
1️⃣ 全量微调(Fine-Tuning):效果的天花板
基线对照组,不加任何 PEFT 模块,直接更新 T5 的全部权重。由于参数量巨大,单卡显存紧张,项目默认为其配置 DeepSpeed 分布式训练(configs/hfai/default_config_deepspeed_hfai_ft.yaml),批量大小只能开到 1,且学习率搜索区间最保守(1e-5 起步)。
2️⃣ LoRA:目前最流行的选择
LoRA 不改变模型结构,而是在注意力层的线性变换旁路挂上一对低秩矩阵,训练时只更新这对矩阵。核心配置类 LoraConfig 中:
r(低秩维度,默认 8):本项目网格搜索取 8 / 32 / 64 / 128 / 256 / 512 六档(见 grid_search_lora_1.sh)lora_modules:作用的目标模块,T5 系列默认q,v(注意力 Query/Value 投影),Llama/OPT 系列则用q_proj,v_proj(映射表见 mapping.py)lora_alpha:缩放系数,本实验设为与r相同
LoRA 的优势是推理时零开销——可以把低秩矩阵合并回原权重,部署时甚至感知不到它的存在(LoraConfig 的 merge_weights 选项)。
3️⃣ Adapter:逐层插入的"小模块"
Adapter 在 Transformer 每层的 FFN 之后插入一个"下投影 → ReLU → 上投影"的 Bottleneck 模块,可训练参数是 6 种方法中最少的之一,适合多任务场景(不同任务加载不同 Adapter 文件)。peft_trainer.py 中针对 T5 / OPT / LLaMA 分别指定了 target_modules,网格搜索的 adapter_size 取 8~256 五档(grid_search_adapter_1.sh)。
4️⃣ Prefix Tuning:在输入最前端"藏"虚拟 token
Prefix Tuning 在每一层注意力前拼接一段可学习的虚拟前缀序列,让模型"以为"输入了额外的上文。它的两个关键超参:
prefix_len:虚拟前缀长度(搜索区间 8~512)bottleneck_size:可选的投影瓶颈维度(-1 表示不启用投影,另搜 256/512/1024)
实现见 grid_search_prefix_tuning_1.sh。注意它与 Prompt Tuning 的区别:前缀注入在每一层,而软提示只注入在输入嵌入层,因此 Prefix Tuning 表达能力更强、参数量也略高。
5️⃣ Prompt Tuning:最轻量的软提示
Prompt Tuning 只在输入的词嵌入前拼接 prompt_len 个可学习向量,参数量最少,训练最快,但对大模型上效果通常最弱——这也是本项目把它作为对照组之一的原因。超参 prompt_len 搜索区间为 8 / 32 / 128 / 256(grid_search_prompt_tuning_1.sh)。
6️⃣ BitFit:只调偏置的极简方案
BitFit 几乎"零结构改动":冻结全部权重,只训练模型的 bias 参数(本实验中为 encoder_decoder_bias)。它的优点是训练成本极低、实现简单,缺点是表达能力受限,适合作为低成本基线。
四、公平对比是如何做到的 ⚖️
横评最怕"超参不公平",本仓库用统一的网格搜索脚本消除偏见:
- 统一学习率网格:所有方法都搜索
1e-5 / 5e-5 / 1e-4 / 5e-4 / 1e-3五档(各 grid_search 脚本第 6~9 行) - 统一正则化:
DROPOUT_RATE=0.1、WEIGHT_DECAY=0.01、LABEL_SMOOTHING_FACTOR=0 - 统一训练配置:4 个 epoch、linear 调度器(全量微调用 constant 调度器)、3% warmup
- 统一评测协议:在 SuperNI 指令微调数据集上,用 ROUGE-L / Exact Match 打分,评测逻辑在 compute_metrics.py
运行方式极其简单——以开发模式跑一个 LoRA 实验为例:
bash scripts/hfai/hp_run.sh lora_peft dev
hp_run.sh 会自动完成:根据 tuning_mode 选择 accelerate 配置文件 → 拼接 --lora_r / --lora_alpha / --adapter_size 等参数 → 生成规范化的实验目录名 → 调用 prompt_tuning.py 启动训练。批量启动全部网格实验可参考 grid_search_1.sh。
📌 支持的底座模型包括 T5(base~11b)、OPT(350m~13b)、LLaMA-7B、GPT-2,模型名缩写与完整路径的映射见 hp_run.sh。
五、选型建议:我该用哪种方法
| 你的场景 | 推荐方法 | 理由 |
|---|---|---|
| 显存充足、追求极致效果 | 全量微调 | 效果上限最高 |
| 单卡消费级显卡微调 7B 模型 | LoRA | 效果好、推理零开销、生态成熟 |
| 多任务部署、频繁切换任务 | Adapter | 任务参数独立成文件,热插拔方便 |
| 只能改输入、不能碰权重 | Prefix / Prompt Tuning | 只增加虚拟 token,原模型完全冻结 |
| 极低预算快速验证 | BitFit | 几乎零额外结构,几分钟就能训完 |
结合本项目在 T5 系列模型上的实验设计(LoRA rank 与 Adapter size 都搜到 256 以上,说明作者预期两者能在有限参数下逼近全量效果),对大多数工程师而言:LoRA 是默认首选,Adapter 是多任务场景的替代方案,其余方法按需取用。
六、项目关键文件速查 📂
- 训练入口:prompt_tuning.py
- 各 PEFT 模块挂载与训练逻辑:peft_trainer.py
- PEFT 实现源码(LoRA / Adapter / Prefix / Prompt):src/peft/tuners/
- 实验启动与超参组装:scripts/hfai/hp_run.sh
- 网格搜索脚本:scripts/grid_search_1/
- 分布式训练配置(DeepSpeed / DDP):configs/
- 评测指标计算:util/compute_metrics.py
如果你想动手复现,只需 clone 仓库后安装依赖(pip install -e . 和 pip install rouge-score),准备 NI 数据集分割目录,然后按上文命令启动任意一种 PEFT 模式即可——6 种方法的训练、评测、checkpoint 保存全流程都已打通。🚀