全量微调 vs LoRA vs Adapter vs Prefix Tuning:6 种 PEFT 参数高效微调方法完整横评

原创2026-11-18 19:49:461,688 阅读

全量微调 vs LoRA vs Adapter vs Prefix Tuning:6 种 PEFT 参数高效微调方法完整横评

在微调大语言模型时,全量微调 vs LoRA 该选谁,一直是新手最纠结的问题。开源项目 parameter_efficient_instruction_tuning 给出了答案:它在同一套指令微调基准(NI / SuperNI 数据集)上,系统性地横向对比了 6 种主流参数高效微调(PEFT, Parameter-Efficient Fine-Tuning)方法——全量微调、LoRA、Adapter、Prefix Tuning、Prompt Tuning 与 BitFit,并用网格搜索(grid search)统一了超参设置。本文带你读懂每种方法的工作原理、可训练参数规模差异,以及如何用这个仓库一键复现实验。🔍

一、什么是 PEFT?为什么不用全量微调

全量微调(Full Fine-Tuning)会更新模型的所有参数,一个 3B 的模型动辄需要十几 GB 显存和数小时的 GPU 时间。而 PEFT 的思路是:冻结原始权重,只训练一小撮"外挂"参数,可训练参数通常只有全量的 0.1%~1%,显存和时间成本大幅下降,效果却往往能接近全量微调。

本项目的核心代码入口是训练脚本 prompt_tuning.py,它通过 --tuning_mode 参数在 6 种模式间切换;具体的模块挂载逻辑集中在 peft_trainer.py 的 configure_n_load_peft_module() 方法中(peft_trainer.py 第 1264 行起),各模式的配置类实现则位于 src/peft/tuners/ 目录下。

二、6 种方法一张表看懂

方法 核心思想 可训练部分 关键超参 实现位置
全量微调 无 全部参数 仅学习率 hp_run.sh
LoRA 在注意力层旁路注入低秩矩阵 A/B 低秩分解矩阵 lora_r、lora_alpha、lora_modules lora.py
Adapter 在每层后插入小型 Bottleneck 模块 Adapter 模块 adapter_size adapter.py
Prefix Tuning 在输入前拼接可学习的"虚拟前缀" 前缀向量(可选投影层) prefix_len、bottleneck_size prefix_tuning.py
Prompt Tuning 在词嵌入前拼接软提示向量 虚拟 token 嵌入 prompt_len prompt_tuning.py
BitFit 只训练偏置(bias)参数 模型偏置项 bias_name hp_run.sh

💡 代码库中其实还支持 IA³ 和 P-Tuning 等模式(见 src/peft/utils/config.py 中的 PeftType 枚举),但论文实验聚焦上表 6 种。

三、各方法详解与关键参数

1️⃣ 全量微调(Fine-Tuning):效果的天花板

基线对照组,不加任何 PEFT 模块,直接更新 T5 的全部权重。由于参数量巨大,单卡显存紧张,项目默认为其配置 DeepSpeed 分布式训练(configs/hfai/default_config_deepspeed_hfai_ft.yaml),批量大小只能开到 1,且学习率搜索区间最保守(1e-5 起步)。

2️⃣ LoRA:目前最流行的选择

LoRA 不改变模型结构,而是在注意力层的线性变换旁路挂上一对低秩矩阵,训练时只更新这对矩阵。核心配置类 LoraConfig 中:

  • r(低秩维度,默认 8):本项目网格搜索取 8 / 32 / 64 / 128 / 256 / 512 六档(见 grid_search_lora_1.sh)
  • lora_modules:作用的目标模块,T5 系列默认 q,v(注意力 Query/Value 投影),Llama/OPT 系列则用 q_proj,v_proj(映射表见 mapping.py)
  • lora_alpha:缩放系数,本实验设为与 r 相同

LoRA 的优势是推理时零开销——可以把低秩矩阵合并回原权重,部署时甚至感知不到它的存在(LoraConfig 的 merge_weights 选项)。

3️⃣ Adapter:逐层插入的"小模块"

Adapter 在 Transformer 每层的 FFN 之后插入一个"下投影 → ReLU → 上投影"的 Bottleneck 模块,可训练参数是 6 种方法中最少的之一,适合多任务场景(不同任务加载不同 Adapter 文件)。peft_trainer.py 中针对 T5 / OPT / LLaMA 分别指定了 target_modules,网格搜索的 adapter_size 取 8~256 五档(grid_search_adapter_1.sh)。

4️⃣ Prefix Tuning:在输入最前端"藏"虚拟 token

Prefix Tuning 在每一层注意力前拼接一段可学习的虚拟前缀序列,让模型"以为"输入了额外的上文。它的两个关键超参:

  • prefix_len:虚拟前缀长度(搜索区间 8~512)
  • bottleneck_size:可选的投影瓶颈维度(-1 表示不启用投影,另搜 256/512/1024)

实现见 grid_search_prefix_tuning_1.sh。注意它与 Prompt Tuning 的区别:前缀注入在每一层,而软提示只注入在输入嵌入层,因此 Prefix Tuning 表达能力更强、参数量也略高。

5️⃣ Prompt Tuning:最轻量的软提示

Prompt Tuning 只在输入的词嵌入前拼接 prompt_len 个可学习向量,参数量最少,训练最快,但对大模型上效果通常最弱——这也是本项目把它作为对照组之一的原因。超参 prompt_len 搜索区间为 8 / 32 / 128 / 256(grid_search_prompt_tuning_1.sh)。

6️⃣ BitFit:只调偏置的极简方案

BitFit 几乎"零结构改动":冻结全部权重,只训练模型的 bias 参数(本实验中为 encoder_decoder_bias)。它的优点是训练成本极低、实现简单,缺点是表达能力受限,适合作为低成本基线。

四、公平对比是如何做到的 ⚖️

横评最怕"超参不公平",本仓库用统一的网格搜索脚本消除偏见:

  1. 统一学习率网格:所有方法都搜索 1e-5 / 5e-5 / 1e-4 / 5e-4 / 1e-3 五档(各 grid_search 脚本第 6~9 行)
  2. 统一正则化:DROPOUT_RATE=0.1、WEIGHT_DECAY=0.01、LABEL_SMOOTHING_FACTOR=0
  3. 统一训练配置:4 个 epoch、linear 调度器(全量微调用 constant 调度器)、3% warmup
  4. 统一评测协议:在 SuperNI 指令微调数据集上,用 ROUGE-L / Exact Match 打分,评测逻辑在 compute_metrics.py

运行方式极其简单——以开发模式跑一个 LoRA 实验为例:

bash scripts/hfai/hp_run.sh lora_peft dev

hp_run.sh 会自动完成:根据 tuning_mode 选择 accelerate 配置文件 → 拼接 --lora_r / --lora_alpha / --adapter_size 等参数 → 生成规范化的实验目录名 → 调用 prompt_tuning.py 启动训练。批量启动全部网格实验可参考 grid_search_1.sh。

📌 支持的底座模型包括 T5(base~11b)、OPT(350m~13b)、LLaMA-7B、GPT-2,模型名缩写与完整路径的映射见 hp_run.sh。

五、选型建议:我该用哪种方法

你的场景 推荐方法 理由
显存充足、追求极致效果 全量微调 效果上限最高
单卡消费级显卡微调 7B 模型 LoRA 效果好、推理零开销、生态成熟
多任务部署、频繁切换任务 Adapter 任务参数独立成文件,热插拔方便
只能改输入、不能碰权重 Prefix / Prompt Tuning 只增加虚拟 token,原模型完全冻结
极低预算快速验证 BitFit 几乎零额外结构,几分钟就能训完

结合本项目在 T5 系列模型上的实验设计(LoRA rank 与 Adapter size 都搜到 256 以上,说明作者预期两者能在有限参数下逼近全量效果),对大多数工程师而言:LoRA 是默认首选,Adapter 是多任务场景的替代方案,其余方法按需取用。

六、项目关键文件速查 📂

如果你想动手复现,只需 clone 仓库后安装依赖(pip install -e . 和 pip install rouge-score),准备 NI 数据集分割目录,然后按上文命令启动任意一种 PEFT 模式即可——6 种方法的训练、评测、checkpoint 保存全流程都已打通。🚀

登录后查看全文
parameter_efficient_instruction_tuning