smol-course Prompt Tuning 实战指南:用 PEFT 软提示实现参数高效微调
smol-course Prompt Tuning 实战指南:用 PEFT 软提示实现参数高效微调
Prompt Tuning(提示调优)是参数高效微调(PEFT)家族中最"轻量"的一支:它不更新任何模型权重,而是向输入前拼接一小段可训练的连续向量(soft prompt),在冻结基座模型的前提下为具体任务注入行为指令。本篇指南基于 smol-course 仓库的 Prompt Tuning 章节(对应英文版 prompt_tuning.md)展开,将带你理解 soft prompt 的原理、训练过程中的关键调参点,并给出可直接运行的 PEFT 实现代码,最后通过与其他 PEFT 方法的对比表格帮助你判断何时该选 prompt tuning、何时该转向 LoRA 或全量微调。
Prompt Tuning 是什么:只调整输入表示,不碰模型权重
传统的全量微调会更新模型的所有参数,当模型规模增大时,训练显存、存储成本与遗忘风险都会随之上升。smol-course 的 PEFT 章节导读 指出,PEFT 方法的可训练参数通常少于原始模型规模的 1%,从而可以在消费级硬件上微调、低成本地为多个任务各保存一份适配器,并加快训练与实验迭代。
Prompt tuning 正是其中"最轻"的一种实现:它通过修改输入表示而非模型权重来适配下游任务——在输入文本前追加一组可训练的连续向量(即 soft prompts),基座模型保持完全冻结。与使用自然语言 token 的离散提示(discrete prompt)不同,这些 soft prompt 是位于模型 embedding 空间中的连续向量,本身没有语义含义,而是在训练中通过反向传播(back-propagation)和梯度下降被优化,从而学会从冻结的模型中"诱导"出期望行为。
该方法出自论文 The Power of Scale for Parameter-Efficient Prompt Tuning(Lester et al., 2021):论文表明,随着模型规模增大,prompt tuning 与全量微调的竞争力差距迅速缩小——在约 100 亿(10B)参数规模上,prompt tuning 仅修改每任务几百个参数即可达到与全量微调相当的性能。
从多任务部署的角度看,这种设计尤其有吸引力:
- 每个任务只需保存一个很小的 prompt 向量(通常仅几百个参数),而不是一整份模型副本,内存占用极小;
- 任务切换只需直接替换 prompt 向量,无需重新加载模型,可实现近乎瞬时的切换。
训练过程:冻结基座,只优化软提示
soft prompt 的规模与初始化方式直接决定训练效果,原文档给出了两条核心经验:
- 规模:soft prompt 通常包含 8 到 32 个 token。实践建议从较小的数量起步(如 8–16),只有任务复杂度确实需要时才逐步增加;
- 初始化:可以选择随机初始化(RANDOM)或从已有文本初始化(TEXT)。基于任务相关文本的初始化通常显著优于随机初始化,因此初始化策略应当与目标任务的复杂度相匹配。
在训练过程中,只有 prompt 参数被更新,基座模型保持冻结。这种聚焦式的训练仍然使用标准的训练目标(例如语言建模损失),但由于可训练参数集中于一小段向量,需要特别注意两点:
- 学习率(learning rate):与全量微调不同,prompt tuning 通常可以使用更高的学习率并取得更好效果;
- 梯度行为:需要密切监控 prompt token 的梯度,避免梯度爆炸或消失导致软提示失效。
此外,建议在多样化的示例上定期做验证,确保软提示学到的行为在不同输入场景下都稳健。
用 PEFT 实现 Prompt Tuning
Hugging Face 的 PEFT 库将 prompt tuning 的落地封装为极简配置。以下是 smol-course 文档提供的完整示例(可直接复制运行,只需将 your-base-model 替换为真实模型名):
from peft import PromptTuningConfig, TaskType, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer
# 加载基座模型
model = AutoModelForCausalLM.from_pretrained("your-base-model")
tokenizer = AutoTokenizer.from_pretrained("your-base-model")
# 配置 prompt tuning
peft_config = PromptTuningConfig(
task_type=TaskType.CAUSAL_LM,
num_virtual_tokens=8, # 可训练 token 数量
prompt_tuning_init="TEXT", # 从文本初始化
prompt_tuning_init_text="Phân loại xem văn bản này là tích cực hay tiêu cực:", # 任务相关初始化文本
tokenizer_name_or_path="your-base-model",
)
# 创建可 prompt-tune 的模型
model = get_peft_model(model, peft_config)
各配置参数的含义与取值范围如下:
| 参数 | 作用 | 说明 |
|---|---|---|
task_type |
指定模型架构的任务类型 | 因果语言模型使用 TaskType.CAUSAL_LM;序列分类可用 TaskType.SEQ_CLS |
num_virtual_tokens |
可训练软提示 token 的数量 | 通常取 8–32,建议从 8–16 起步,按任务复杂度递增 |
prompt_tuning_init |
软提示初始化方式 | "TEXT"(从文本初始化,效果通常更好)或 "RANDOM"(随机初始化) |
prompt_tuning_init_text |
初始化用的文本 | 仅在 TEXT 模式下生效,应选择与目标任务高度相关的文本 |
tokenizer_name_or_path |
用于将初始化文本分词 | 一般与基座模型的 tokenizer 保持一致 |
调用 get_peft_model(model, peft_config) 后,模型内部只会把 soft prompt 向量标记为可训练,基座模型的全部参数被冻结。训练完成后,你保存的适配器本质上就是这一小段向量;推理或切换任务时,只需替换/加载对应的 prompt 向量即可。更完整的可运行微调流程(数据集加载、训练器配置、保存适配器)可参考仓库中的 LoRA 微调 Notebook——其中的 SFTTrainer 与 PEFT 配置的搭配方式同样适用于 prompt tuning。
与其他 PEFT 方法的对比:何时选 Prompt Tuning
原文档给出了 prompt tuning、LoRA 与全量微调三者的直观对比:
| 方法 | 参数 | 内存 | 任务切换 |
|---|---|---|---|
| Prompt Tuning | 非常低 | 最小 | 容易(直接替换向量) |
| LoRA | 低 | 低 | 需要加载 adapter |
| 全量微调 | 高 | 高 | 需要新的模型副本 |
从源码结构与文档表述可以总结出选择依据:
- LoRA 通过在注意力层中引入低秩可训练矩阵来调整权重,可训练参数通常比全量微调减少约 90%,但切换任务时需要加载不同的 adapter 权重;
- Prompt Tuning 的资源占用比 LoRA 更低,且任务切换无需加载权重、可即时完成,适合"一模型多任务"的高频切换场景;
- 全量微调 性能上限最高,但资源需求大、每个任务都要保留独立模型副本。
因此,如果你的目标是多任务部署、资源受限环境、快速任务适应,prompt tuning 是极具性价比的起点;如果任务对权重级适配有更高要求(例如改变模型的输出风格或领域知识),则应转向 LoRA 乃至全量微调。
适用场景与局限
原文档明确了 prompt tuning 表现出色的四类场景:
- 多任务部署:每个任务一个向量,共享同一个冻结基座模型;
- 资源受限环境:可训练参数与内存占用均为最低档,消费级硬件即可训练;
- 快速任务适应:切换任务无需重载模型;
- 隐私敏感应用:基座模型权重完全不动,仅交换任务级软提示,便于隔离与审计。
同时必须清醒认识其局限:随着基座模型变小,prompt tuning 相对全量微调的竞争力会明显下降。smol-course 对此有明确结论——在 SmolLM2 这一量级的小模型上,prompt tuning 的相关性低于全量微调。仓库的 LoRA 微调 Notebook 以 HuggingFaceTB/SmolLM2-135M 为例进行适配训练(见 finetune_sft_peft.ipynb),这恰好印证了在 1–2B 以下的小模型上,权重级适配(LoRA/全量微调)往往比软提示更有效。因此,在 smol-course 的实操路径中,prompt tuning 更适合作为理解 PEFT 原理的入门技术,而主力微调手段应落在 LoRA 上。
下一步:进阶 LoRA 实战
在掌握 prompt tuning 的原理与实现后,建议继续学习仓库的 LoRA Adapters 教程 Notebook,了解如何用 LoRA 适配器在 SmolLM2 等模型上完成真正的权重级高效微调,包括 LoraConfig 的 r(秩)、lora_alpha(缩放系数)、lora_dropout 等参数的选择,以及如何使用 trl 的 SFTTrainer 完成端到端训练。
仓库内延伸阅读
- Prompt Tuning(英文原版):本文内容对应的英文版文档
- PEFT 章节导读(越南语):LoRA 与 Prompt Tuning 两种方法的定位与选型背景
- LoRA Adapters 文档:与 prompt tuning 形成对照的权重级 PEFT 方法
- LoRA 微调 Notebook:基于 SmolLM2-135M 的完整 LoRA 微调实战
- LoRA 适配器加载 Notebook:学习如何加载、合并与切换训练好的适配器
