smol-course 参数高效微调(PEFT)实战指南:LoRA 与 Prompt Tuning 完整教程
smol-course 参数高效微调(PEFT)实战指南:LoRA 与 Prompt Tuning 完整教程
本文是 smol-course 课程中"参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)"模块的完整技术指南。当语言模型规模不断增长时,传统全参数微调在显存、存储和稳定性上都面临挑战;PEFT 方法通过只训练极少量参数(通常不到原模型规模的 1%)来适配模型,让你能在消费级 GPU 上完成微调、低成本地保存多个任务版本,并显著加快迭代周期。读完本文,你将掌握 LoRA(Low-Rank Adaptation)与 Prompt Tuning 两种主流 PEFT 方法的原理、配置参数与完整实操流程,并能够直接使用仓库中配套的 Notebook 在 SmolLM 系列小模型上完成从训练到合并部署的闭环。
为什么需要 PEFT:全参数微调的三重困境
课程文档开篇就点明了传统微调的核心痛点:即使是对一个 1.7B 参数的模型做全量微调(Full Fine-tuning),也需要可观的 GPU 显存;为每个任务保存独立的完整模型副本存储成本高昂;同时还有**灾难性遗忘(catastrophic forgetting)**的风险,即模型在适配新任务时丢失原有能力。
传统微调在训练过程中更新模型的所有参数,这对大模型越来越不现实。PEFT 方法则引入了一种"用更少可训练参数适配模型"的思路——通常可训练参数少于原模型规模的 1%(见 模块 README)。这种数量级的削减带来四方面直接收益:
- 可在显存有限的消费级硬件上完成微调;
- 可以高效存储多个任务专属的适配器(adapters),而非整份模型副本;
- 在小数据场景下泛化能力更好;
- 训练与实验迭代周期更快。
本模块聚焦两种最主流的 PEFT 方法:**LoRA(Low-Rank Adaptation,低秩适配)**与 Prompt Tuning(提示调优)。
LoRA:最广泛采用的 PEFT 方法
原理:冻结主干,注入低秩矩阵
LoRA 之所以成为被采用最广的 PEFT 方法,在于它为高效模型适配提供了优雅的解决方案(详细论述见 lora_adapters.md)。它的核心做法是:冻结预训练模型的权重,并在模型各层中注入可训练的秩分解矩阵(rank decomposition matrices),通常聚焦于 attention 权重。
在数学上,LoRA 不再直接训练完整权重矩阵的更新量,而是通过低秩分解(low-rank decomposition)把权重更新拆解为更小的矩阵乘积,从而大幅削减可训练参数数量,同时保持模型性能。文档给出了一个量化案例:当应用于 GPT-3 175B 时,LoRA 将可训练参数减少至原来的 1/10000(减少 10000 倍),GPU 显存需求相比全量微调降低 3 倍。LoRA 的典型效果是将可训练参数减少约 90%,同时保持与全量微调相当的性能。
推理阶段,这些 adapter 权重可以与基础模型合并(merge),因此不会引入额外的推理延迟。这使得 LoRA 特别适合在资源可控的前提下,把大模型快速适配到特定任务或领域。
下图展示了 LoRA adapter 与基础大模型的关系:同一基础模型可挂载多个任务专属的 adapter(A/B/C/D),按需切换即可实现个性化,无需改动基础模型本身。
加载 LoRA Adapters:挂载、切换与卸载
文档强调,适配器可以在不合并权重的前提下挂载到预训练模型上,这对于尝试不同适配器非常有用。核心 API 有三个:
load_adapter():把某个 adapter 加载到预训练模型上;set_adapter():设置当前激活的 adapter 权重;unload():卸载全部 LoRA 模块,回到基础模型。
这样就实现了不同任务权重之间的快速切换。基础用法如下:
from transformers import AutoModelForCausalLM
from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained("<base_model_name>")
peft_model_id = "<peft_adapter_id>"
model = PeftModel.from_pretrained(base_model, peft_model_id)
合并 LoRA Adapters:部署前的关键步骤
训练完成后,通常需要把 adapter 权重合并回基础模型,得到一个权重已整合的单一模型,从而在推理时免去单独加载 adapter 的环节。文档对合并过程给出了三条重要注意事项:
- 内存管理:合并时基础模型与 adapter 权重需同时驻留内存,务必保证 GPU/CPU 显存充足;在
transformers中使用device_map="auto"可自动管理内存分布。 - 精度一致性:全程保持一致的精度(例如
float16),与训练时使用的精度对齐,并以相同格式保存合并后的模型用于部署。 - 部署前验证:务必对比合并后模型与 adapter 版本在输出与性能指标上的表现,确认无回归。
合并的标准实现如下(摘自 lora_adapters.md):
import torch
from transformers import AutoModelForCausalLM
from peft import PeftModel
# 1. 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained(
"base_model_name",
torch_dtype=torch.float16,
device_map="auto"
)
# 2. 加载 LoRA adapter
peft_model = PeftModel.from_pretrained(
base_model,
"path/to/adapter",
torch_dtype=torch.float16
)
# 3. 将 adapter 权重合并进基础模型
try:
merged_model = peft_model.merge_and_unload()
except RuntimeError as e:
print(f"Merging failed: {e}")
# 实现备用策略或内存优化
# 4. 保存合并后的模型
merged_model.save_pretrained("path/to/save/merged_model")
一个容易踩坑的细节:如果保存后的模型出现尺寸不一致(size discrepancies),请确认同时保存了 tokenizer:
# 同时保存模型与 tokenizer
tokenizer = AutoTokenizer.from_pretrained("base_model_name")
merged_model.save_pretrained("path/to/save/merged_model")
tokenizer.save_pretrained("path/to/save/merged_model")
用 TRL + PEFT 组合训练(含 RLHF 场景)
PEFT 方法可以与 TRL(Transformers Reinforcement Learning) 库结合实现高效微调。文档特别指出,这种集成对 RLHF(基于人类反馈的强化学习) 尤其有价值,因为它能显著降低显存需求。示例使用 LoraConfig 配置 LoRA、交给 SFTTrainer 训练:
from peft import LoraConfig
from trl import SFTTrainer
# 以 PEFT 配置加载模型
lora_config = LoraConfig(
r=16,
lora_alpha=32,
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
trainer = SFTTrainer(
model="your-model-name",
train_dataset=dataset["train"]
peft_config=lora_config
)
这里各参数含义如下:
| 参数 | 取值 | 含义 |
|---|---|---|
r |
16 | LoRA 矩阵的秩(rank),控制压缩程度 |
lora_alpha |
32 | LoRA 层的缩放系数,通常约为 r 的 2 倍 |
lora_dropout |
0.05 | LoRA 层的 dropout 概率,防止过拟合 |
bias |
"none" |
LoRA 的偏置处理方式(none 表示不训练偏置) |
task_type |
"CAUSAL_LM" |
任务类型,对应因果语言模型架构 |
OLoRA:用 QR 分解改进初始化
文档还介绍了 OLoRA 这一 LoRA 变体:它利用 QR 分解来初始化 LoRA adapter。OLoRA 会先按权重 QR 分解的系数平移(translate)模型的基础权重,即在开始任何训练之前就变更权重。这种做法的收益是:显著提升训练稳定性、加快收敛速度,并最终获得更优的性能。
Prompt Tuning:更轻量的"输入侧"调优
原理:可训练的连续向量(Soft Prompt)
Prompt Tuning 是另一种参数高效思路——它修改输入表示而非模型权重(详见 prompt_tuning.md)。与更新全部模型参数的传统微调不同,Prompt Tuning 在输入文本前添加并优化一小批可训练 token,同时保持基础模型冻结。
这些可训练 token 本质上是模型 embedding 空间中的连续向量(soft prompts)。与使用自然语言 token 的离散提示(discrete prompt)不同,soft prompt 本身没有语义含义,而是在模型冻结的前提下,通过反向传播 / 梯度下降学习出能够引导模型产生期望行为的"指令"。该方法出自论文 "The Power of Scale for Parameter-Efficient Prompt Tuning"(Lester et al., 2021),论文表明:随着模型规模增大,Prompt Tuning 相对全量微调的竞争力越来越强;在约 100 亿参数规模时,Prompt Tuning 仅需为每个任务修改几百个参数,即可达到与全量微调相当的性能。
这一方法对多任务场景尤其高效:每个任务只需保存一个小小的 prompt 向量(通常几百个参数),而非整份模型副本。内存占用极小,并且切换任务只需换掉 prompt 向量、无需重新加载模型,可实现即时任务切换。
下图完整呈现了 soft prompt 的生成与使用流程:从任务数据中分析规律并转换为向量化的 soft prompt,使用时将其与新的用户请求拼接(
Ghép vào)形成增强输入,再送入冻结的语言模型生成输出。
训练过程要点
- 规模:soft prompt 通常包含 8 到 32 个 token;
- 初始化:可以随机初始化,也可以从现有文本初始化;初始化方式对训练影响显著,基于文本的初始化通常优于随机初始化;
- 训练范围:训练时只有 prompt 参数被更新,基础模型保持冻结;
- 训练技巧:采用标准训练目标,但需要谨慎关注学习率与 prompt token 的梯度行为。
用 PEFT 实现 Prompt Tuning
PEFT 库让 Prompt Tuning 的实现非常简单,核心配置类为 PromptTuningConfig:
from peft import PromptTuningConfig, TaskType, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer
# 加载基础模型
model = AutoModelForCausalLM.from_pretrained("your-base-model")
tokenizer = AutoTokenizer.from_pretrained("your-base-model")
# 配置 prompt tuning
peft_config = PromptTuningConfig(
task_type=TaskType.CAUSAL_LM,
num_virtual_tokens=8, # 可训练 token 数量
prompt_tuning_init="TEXT", # 从文本初始化
prompt_tuning_init_text="Classify if this text is positive or negative:",
tokenizer_name_or_path="your-base-model",
)
# 创建可 prompt-tune 的模型
model = get_peft_model(model, peft_config)
其中 num_virtual_tokens 为虚拟 token 数量,prompt_tuning_init="TEXT" 表示从文本初始化(此时需配合 prompt_tuning_init_text 给出初始提示文本)。
三种方法横向对比
| 方法 | 参数量 | 内存 | 任务切换 |
|---|---|---|---|
| Prompt Tuning | 非常低 | 极小 | 容易(即时切换) |
| LoRA | 低 | 低 | 需要加载 adapter |
| 全量微调 | 高 | 高 | 需要新模型副本 |
实施建议:Prompt Tuning 起步时先使用少量虚拟 token(8-16),仅在任务复杂度确实需要时才增加;文本初始化(尤其是使用与任务相关的文本)通常比随机初始化效果更好,初始化策略应反映目标任务的复杂度。训练时更高的学习率通常效果更好,但必须密切监控 prompt token 的梯度;建议在多样化样本上定期验证以保证鲁棒性。
适用场景与局限
Prompt Tuning 在以下场景中表现突出(prompt_tuning.md):
- 多任务部署(multi-task deployment);
- 资源受限环境(resource-constrained environments);
- 快速任务适配(rapid task adaptation);
- 隐私敏感应用(privacy-sensitive applications)。
同时文档也给出重要局限提醒:模型越小,Prompt Tuning 相对全量微调的竞争力越弱。例如在 SmolLM2 这一量级的小模型上,Prompt Tuning 的相关性就不如全量微调——这也是为什么在 smol-course 这种面向"smol models"的课程中,主推的实操路线是以 LoRA + SFT 为主。
配套练习 Notebook:从理论到实战
本模块的 README 提供了两个配套练习 Notebook,难度分级为 🐢(入门)/ 🐕(进阶)/ 🦁(挑战):
| 标题 | 描述 | 练习内容 | 位置 |
|---|---|---|---|
| LoRA 微调 | 学习如何使用 LoRA adapters 微调模型 | 🐢 用 LoRA 训练模型 🐕 实验不同 rank 取值 🦁 与全量微调对比性能 |
finetune_sft_peft.ipynb |
| 加载 LoRA Adapters | 学习如何加载并使用训练好的 LoRA adapters | 🐢 加载预训练 adapters 🐕 将 adapters 与基础模型合并 🦁 在多个 adapters 间切换 |
load_lora_adapter.ipynb |
finetune_sft_peft.ipynb:LoRA + SFT 完整训练管线
从 Notebook 源码(finetune_sft_peft.ipynb)可以看到完整的实战管线,它基于 trl 的 SFTTrainer 与 PEFT 的内置集成能力:
- 安装与认证:安装
transformers、datasets、trl、huggingface_hub,并调用login()完成 Hugging Face Hub 认证(或设置HF_TOKEN环境变量); - 加载数据:使用
datasets.load_dataset(path="HuggingFaceTB/smoltalk", name="everyday-conversations")加载示例对话数据集(train 2260 行 / test 119 行,字段为full_topic与messages); - 加载模型:以
HuggingFaceTB/SmolLM2-135M为基座,调用setup_chat_format(model, tokenizer)设置 chat 格式; - 配置 LoRA:Notebook 中给出的实际配置为
r=4、lora_alpha=8、lora_dropout=0.05、bias="none"、target_modules="all-linear"、task_type="CAUSAL_LM"——注意这里的target_modules="all-linear"表示对所有线性层应用 LoRA,而不仅是 attention 层; - 训练超参数(SFTConfig):
num_train_epochs=1、per_device_train_batch_size=2、gradient_accumulation_steps=2、packing=True、gradient_checkpointing=True、optim="adamw_torch_fused"、learning_rate=2e-4、max_grad_norm=0.3、warmup_ratio=0.03、lr_scheduler_type="constant"、logging_steps=10、save_strategy="epoch"、bf16=True,超参数基于 QLoRA 论文的建议; - 序列长度:
max_seq_length=1512,与packing=True配合对数据集做输入打包,提升训练效率; - 训练与保存:调用
trainer.train();由于使用 PEFT,只保存调整后的 adapter 权重而非完整模型; - 推理与合并:用
AutoPeftModelForCausalLM.from_pretrained(finetune_name, device_map="auto", torch_dtype=torch.float16)加载训练产物,随后merge_and_unload()合并、save_pretrained()保存,最终通过pipeline("text-generation", ...)测试生成效果。
load_lora_adapter.ipynb:加载与使用已训练 Adapter
该 Notebook(load_lora_adapter.ipynb)则聚焦"加载与使用"环节,安装依赖包括 bitsandbytes、datasets、accelerate、loralib 以及从源码安装的最新版 transformers 与 peft,用于演示加载预训练 adapters、合并 adapter 与基础模型、以及在多个 adapters 之间切换。
实战经验与调参建议
文档在 lora_adapters.md 的"Implementation Guide"中给出了明确的工程建议:
- 从较小的 rank 起步:LoRA 的 rank 建议从 4-8 开始,训练中持续监控 loss;
- 使用验证集防止过拟合;
- 尽可能与全量微调基线对比结果;
- 实验是关键:不同方法在不同任务上的有效性会有差异,应保持实验心态。
同时提醒:notebooks/ 目录包含多种 PEFT 方法的实操教程与练习,建议先用 load_lora_adapter.ipynb 建立基本认识,再深入 finetune_sft_peft.ipynb 学习用 LoRA 与 SFT 微调模型的完整细节。
小结
本模块(v1/vi/3_parameter_efficient_finetuning/README.md)给出了清晰的选型结论:LoRA 是当前最主流的 PEFT 方法,通过在 attention 层注入低秩分解矩阵,以约 90% 的可训练参数削减实现与全量微调相当的性能,并且支持加载/切换/合并 adapter 的完整部署闭环;Prompt Tuning 则更轻量,通过训练输入侧的连续向量实现即时任务切换,但更适合大模型与多任务场景,在小模型(如 SmolLM2 量级)上竞争力有限。两者都可通过 PEFT 库与 trl 无缝集成,结合仓库内两个练习 Notebook,即可在 SmolLM 系列小模型上快速落地一套完整的 PEFT 微调工作流。

