smol-course 参数高效微调(PEFT)实战指南:LoRA 与 Prompt Tuning 完整教程

原创2026-10-08 21:34:532,178 阅读
文章标签:教程人工智能大模型NLP微调

smol-course 参数高效微调(PEFT)实战指南:LoRA 与 Prompt Tuning 完整教程

本文是 smol-course 课程中"参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)"模块的完整技术指南。当语言模型规模不断增长时,传统全参数微调在显存、存储和稳定性上都面临挑战;PEFT 方法通过只训练极少量参数(通常不到原模型规模的 1%)来适配模型,让你能在消费级 GPU 上完成微调、低成本地保存多个任务版本,并显著加快迭代周期。读完本文,你将掌握 LoRA(Low-Rank Adaptation)与 Prompt Tuning 两种主流 PEFT 方法的原理、配置参数与完整实操流程,并能够直接使用仓库中配套的 Notebook 在 SmolLM 系列小模型上完成从训练到合并部署的闭环。

为什么需要 PEFT:全参数微调的三重困境

课程文档开篇就点明了传统微调的核心痛点:即使是对一个 1.7B 参数的模型做全量微调(Full Fine-tuning),也需要可观的 GPU 显存;为每个任务保存独立的完整模型副本存储成本高昂;同时还有**灾难性遗忘(catastrophic forgetting)**的风险,即模型在适配新任务时丢失原有能力。

传统微调在训练过程中更新模型的所有参数,这对大模型越来越不现实。PEFT 方法则引入了一种"用更少可训练参数适配模型"的思路——通常可训练参数少于原模型规模的 1%(见 模块 README)。这种数量级的削减带来四方面直接收益:

  • 可在显存有限的消费级硬件上完成微调;
  • 可以高效存储多个任务专属的适配器(adapters),而非整份模型副本;
  • 在小数据场景下泛化能力更好;
  • 训练与实验迭代周期更快。

本模块聚焦两种最主流的 PEFT 方法:**LoRA(Low-Rank Adaptation,低秩适配)**与 Prompt Tuning(提示调优)。

LoRA:最广泛采用的 PEFT 方法

原理:冻结主干,注入低秩矩阵

LoRA 之所以成为被采用最广的 PEFT 方法,在于它为高效模型适配提供了优雅的解决方案(详细论述见 lora_adapters.md)。它的核心做法是:冻结预训练模型的权重,并在模型各层中注入可训练的秩分解矩阵(rank decomposition matrices),通常聚焦于 attention 权重。

在数学上,LoRA 不再直接训练完整权重矩阵的更新量,而是通过低秩分解(low-rank decomposition)把权重更新拆解为更小的矩阵乘积,从而大幅削减可训练参数数量,同时保持模型性能。文档给出了一个量化案例:当应用于 GPT-3 175B 时,LoRA 将可训练参数减少至原来的 1/10000(减少 10000 倍),GPU 显存需求相比全量微调降低 3 倍。LoRA 的典型效果是将可训练参数减少约 90%,同时保持与全量微调相当的性能。

推理阶段,这些 adapter 权重可以与基础模型合并(merge),因此不会引入额外的推理延迟。这使得 LoRA 特别适合在资源可控的前提下,把大模型快速适配到特定任务或领域。

下图展示了 LoRA adapter 与基础大模型的关系:同一基础模型可挂载多个任务专属的 adapter(A/B/C/D),按需切换即可实现个性化,无需改动基础模型本身。

LoRA adapters 与基础模型的关系示意图,展示多个任务专属适配器挂载在同一个 large model 之上

加载 LoRA Adapters:挂载、切换与卸载

文档强调,适配器可以在不合并权重的前提下挂载到预训练模型上,这对于尝试不同适配器非常有用。核心 API 有三个:

  • load_adapter():把某个 adapter 加载到预训练模型上;
  • set_adapter():设置当前激活的 adapter 权重;
  • unload():卸载全部 LoRA 模块,回到基础模型。

这样就实现了不同任务权重之间的快速切换。基础用法如下:

from transformers import AutoModelForCausalLM
from peft import PeftModel

base_model = AutoModelForCausalLM.from_pretrained("<base_model_name>")
peft_model_id = "<peft_adapter_id>"
model = PeftModel.from_pretrained(base_model, peft_model_id)

合并 LoRA Adapters:部署前的关键步骤

训练完成后,通常需要把 adapter 权重合并回基础模型,得到一个权重已整合的单一模型,从而在推理时免去单独加载 adapter 的环节。文档对合并过程给出了三条重要注意事项:

  1. 内存管理:合并时基础模型与 adapter 权重需同时驻留内存,务必保证 GPU/CPU 显存充足;在 transformers 中使用 device_map="auto" 可自动管理内存分布。
  2. 精度一致性:全程保持一致的精度(例如 float16),与训练时使用的精度对齐,并以相同格式保存合并后的模型用于部署。
  3. 部署前验证:务必对比合并后模型与 adapter 版本在输出与性能指标上的表现,确认无回归。

合并的标准实现如下(摘自 lora_adapters.md):

import torch
from transformers import AutoModelForCausalLM
from peft import PeftModel

# 1. 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained(
    "base_model_name",
    torch_dtype=torch.float16,
    device_map="auto"
)

# 2. 加载 LoRA adapter
peft_model = PeftModel.from_pretrained(
    base_model,
    "path/to/adapter",
    torch_dtype=torch.float16
)

# 3. 将 adapter 权重合并进基础模型
try:
    merged_model = peft_model.merge_and_unload()
except RuntimeError as e:
    print(f"Merging failed: {e}")
    # 实现备用策略或内存优化

# 4. 保存合并后的模型
merged_model.save_pretrained("path/to/save/merged_model")

一个容易踩坑的细节:如果保存后的模型出现尺寸不一致(size discrepancies),请确认同时保存了 tokenizer:

# 同时保存模型与 tokenizer
tokenizer = AutoTokenizer.from_pretrained("base_model_name")
merged_model.save_pretrained("path/to/save/merged_model")
tokenizer.save_pretrained("path/to/save/merged_model")

用 TRL + PEFT 组合训练(含 RLHF 场景)

PEFT 方法可以与 TRL(Transformers Reinforcement Learning) 库结合实现高效微调。文档特别指出,这种集成对 RLHF(基于人类反馈的强化学习) 尤其有价值,因为它能显著降低显存需求。示例使用 LoraConfig 配置 LoRA、交给 SFTTrainer 训练:

from peft import LoraConfig
from trl import SFTTrainer

# 以 PEFT 配置加载模型
lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)

trainer = SFTTrainer(
    model="your-model-name",
    train_dataset=dataset["train"]
    peft_config=lora_config
)

这里各参数含义如下:

参数 取值 含义
r 16 LoRA 矩阵的秩(rank),控制压缩程度
lora_alpha 32 LoRA 层的缩放系数,通常约为 r 的 2 倍
lora_dropout 0.05 LoRA 层的 dropout 概率,防止过拟合
bias "none" LoRA 的偏置处理方式(none 表示不训练偏置)
task_type "CAUSAL_LM" 任务类型,对应因果语言模型架构

OLoRA:用 QR 分解改进初始化

文档还介绍了 OLoRA 这一 LoRA 变体:它利用 QR 分解来初始化 LoRA adapter。OLoRA 会先按权重 QR 分解的系数平移(translate)模型的基础权重,即在开始任何训练之前就变更权重。这种做法的收益是:显著提升训练稳定性、加快收敛速度,并最终获得更优的性能。

Prompt Tuning:更轻量的"输入侧"调优

原理:可训练的连续向量(Soft Prompt)

Prompt Tuning 是另一种参数高效思路——它修改输入表示而非模型权重(详见 prompt_tuning.md)。与更新全部模型参数的传统微调不同,Prompt Tuning 在输入文本前添加并优化一小批可训练 token,同时保持基础模型冻结。

这些可训练 token 本质上是模型 embedding 空间中的连续向量(soft prompts)。与使用自然语言 token 的离散提示(discrete prompt)不同,soft prompt 本身没有语义含义,而是在模型冻结的前提下,通过反向传播 / 梯度下降学习出能够引导模型产生期望行为的"指令"。该方法出自论文 "The Power of Scale for Parameter-Efficient Prompt Tuning"(Lester et al., 2021),论文表明:随着模型规模增大,Prompt Tuning 相对全量微调的竞争力越来越强;在约 100 亿参数规模时,Prompt Tuning 仅需为每个任务修改几百个参数,即可达到与全量微调相当的性能。

这一方法对多任务场景尤其高效:每个任务只需保存一个小小的 prompt 向量(通常几百个参数),而非整份模型副本。内存占用极小,并且切换任务只需换掉 prompt 向量、无需重新加载模型,可实现即时任务切换。

下图完整呈现了 soft prompt 的生成与使用流程:从任务数据中分析规律并转换为向量化的 soft prompt,使用时将其与新的用户请求拼接(Ghép vào)形成增强输入,再送入冻结的语言模型生成输出。

Prompt Tuning 的 soft prompt 生成与拼接流程示意图,展示训练数据规律如何转化为向量并与输入拼接

训练过程要点

  • 规模:soft prompt 通常包含 8 到 32 个 token;
  • 初始化:可以随机初始化,也可以从现有文本初始化;初始化方式对训练影响显著,基于文本的初始化通常优于随机初始化;
  • 训练范围:训练时只有 prompt 参数被更新,基础模型保持冻结;
  • 训练技巧:采用标准训练目标,但需要谨慎关注学习率与 prompt token 的梯度行为。

用 PEFT 实现 Prompt Tuning

PEFT 库让 Prompt Tuning 的实现非常简单,核心配置类为 PromptTuningConfig:

from peft import PromptTuningConfig, TaskType, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载基础模型
model = AutoModelForCausalLM.from_pretrained("your-base-model")
tokenizer = AutoTokenizer.from_pretrained("your-base-model")

# 配置 prompt tuning
peft_config = PromptTuningConfig(
    task_type=TaskType.CAUSAL_LM,
    num_virtual_tokens=8,  # 可训练 token 数量
    prompt_tuning_init="TEXT",  # 从文本初始化
    prompt_tuning_init_text="Classify if this text is positive or negative:",
    tokenizer_name_or_path="your-base-model",
)

# 创建可 prompt-tune 的模型
model = get_peft_model(model, peft_config)

其中 num_virtual_tokens 为虚拟 token 数量,prompt_tuning_init="TEXT" 表示从文本初始化(此时需配合 prompt_tuning_init_text 给出初始提示文本)。

三种方法横向对比

方法 参数量 内存 任务切换
Prompt Tuning 非常低 极小 容易(即时切换)
LoRA 低 低 需要加载 adapter
全量微调 高 高 需要新模型副本

实施建议:Prompt Tuning 起步时先使用少量虚拟 token(8-16),仅在任务复杂度确实需要时才增加;文本初始化(尤其是使用与任务相关的文本)通常比随机初始化效果更好,初始化策略应反映目标任务的复杂度。训练时更高的学习率通常效果更好,但必须密切监控 prompt token 的梯度;建议在多样化样本上定期验证以保证鲁棒性。

适用场景与局限

Prompt Tuning 在以下场景中表现突出(prompt_tuning.md):

  1. 多任务部署(multi-task deployment);
  2. 资源受限环境(resource-constrained environments);
  3. 快速任务适配(rapid task adaptation);
  4. 隐私敏感应用(privacy-sensitive applications)。

同时文档也给出重要局限提醒:模型越小,Prompt Tuning 相对全量微调的竞争力越弱。例如在 SmolLM2 这一量级的小模型上,Prompt Tuning 的相关性就不如全量微调——这也是为什么在 smol-course 这种面向"smol models"的课程中,主推的实操路线是以 LoRA + SFT 为主。

配套练习 Notebook:从理论到实战

本模块的 README 提供了两个配套练习 Notebook,难度分级为 🐢(入门)/ 🐕(进阶)/ 🦁(挑战):

标题 描述 练习内容 位置
LoRA 微调 学习如何使用 LoRA adapters 微调模型 🐢 用 LoRA 训练模型
🐕 实验不同 rank 取值
🦁 与全量微调对比性能
finetune_sft_peft.ipynb
加载 LoRA Adapters 学习如何加载并使用训练好的 LoRA adapters 🐢 加载预训练 adapters
🐕 将 adapters 与基础模型合并
🦁 在多个 adapters 间切换
load_lora_adapter.ipynb

finetune_sft_peft.ipynb:LoRA + SFT 完整训练管线

从 Notebook 源码(finetune_sft_peft.ipynb)可以看到完整的实战管线,它基于 trl 的 SFTTrainer 与 PEFT 的内置集成能力:

  1. 安装与认证:安装 transformers、datasets、trl、huggingface_hub,并调用 login() 完成 Hugging Face Hub 认证(或设置 HF_TOKEN 环境变量);
  2. 加载数据:使用 datasets.load_dataset(path="HuggingFaceTB/smoltalk", name="everyday-conversations") 加载示例对话数据集(train 2260 行 / test 119 行,字段为 full_topic 与 messages);
  3. 加载模型:以 HuggingFaceTB/SmolLM2-135M 为基座,调用 setup_chat_format(model, tokenizer) 设置 chat 格式;
  4. 配置 LoRA:Notebook 中给出的实际配置为 r=4、lora_alpha=8、lora_dropout=0.05、bias="none"、target_modules="all-linear"、task_type="CAUSAL_LM"——注意这里的 target_modules="all-linear" 表示对所有线性层应用 LoRA,而不仅是 attention 层;
  5. 训练超参数(SFTConfig):num_train_epochs=1、per_device_train_batch_size=2、gradient_accumulation_steps=2、packing=True、gradient_checkpointing=True、optim="adamw_torch_fused"、learning_rate=2e-4、max_grad_norm=0.3、warmup_ratio=0.03、lr_scheduler_type="constant"、logging_steps=10、save_strategy="epoch"、bf16=True,超参数基于 QLoRA 论文的建议;
  6. 序列长度:max_seq_length=1512,与 packing=True 配合对数据集做输入打包,提升训练效率;
  7. 训练与保存:调用 trainer.train();由于使用 PEFT,只保存调整后的 adapter 权重而非完整模型;
  8. 推理与合并:用 AutoPeftModelForCausalLM.from_pretrained(finetune_name, device_map="auto", torch_dtype=torch.float16) 加载训练产物,随后 merge_and_unload() 合并、save_pretrained() 保存,最终通过 pipeline("text-generation", ...) 测试生成效果。

load_lora_adapter.ipynb:加载与使用已训练 Adapter

该 Notebook(load_lora_adapter.ipynb)则聚焦"加载与使用"环节,安装依赖包括 bitsandbytes、datasets、accelerate、loralib 以及从源码安装的最新版 transformers 与 peft,用于演示加载预训练 adapters、合并 adapter 与基础模型、以及在多个 adapters 之间切换。

实战经验与调参建议

文档在 lora_adapters.md 的"Implementation Guide"中给出了明确的工程建议:

  • 从较小的 rank 起步:LoRA 的 rank 建议从 4-8 开始,训练中持续监控 loss;
  • 使用验证集防止过拟合;
  • 尽可能与全量微调基线对比结果;
  • 实验是关键:不同方法在不同任务上的有效性会有差异,应保持实验心态。

同时提醒:notebooks/ 目录包含多种 PEFT 方法的实操教程与练习,建议先用 load_lora_adapter.ipynb 建立基本认识,再深入 finetune_sft_peft.ipynb 学习用 LoRA 与 SFT 微调模型的完整细节。

小结

本模块(v1/vi/3_parameter_efficient_finetuning/README.md)给出了清晰的选型结论:LoRA 是当前最主流的 PEFT 方法,通过在 attention 层注入低秩分解矩阵,以约 90% 的可训练参数削减实现与全量微调相当的性能,并且支持加载/切换/合并 adapter 的完整部署闭环;Prompt Tuning 则更轻量,通过训练输入侧的连续向量实现即时任务切换,但更适合大模型与多任务场景,在小模型(如 SmolLM2 量级)上竞争力有限。两者都可通过 PEFT 库与 trl 无缝集成,结合仓库内两个练习 Notebook,即可在 SmolLM 系列小模型上快速落地一套完整的 PEFT 微调工作流。

参考资源

登录后查看全文
smol-course