smol-course Prompt Tuning 实战指南:用 PEFT 软提示实现参数高效微调

原创2026-10-08 19:07:58168 阅读
文章标签:教程人工智能大模型NLP微调

smol-course Prompt Tuning 实战指南:用 PEFT 软提示实现参数高效微调

Prompt Tuning(提示调优)是参数高效微调(PEFT)家族中最"轻量"的一支:它不更新任何模型权重,而是向输入前拼接一小段可训练的连续向量(soft prompt),在冻结基座模型的前提下为具体任务注入行为指令。本篇指南基于 smol-course 仓库的 Prompt Tuning 章节(对应英文版 prompt_tuning.md)展开,将带你理解 soft prompt 的原理、训练过程中的关键调参点,并给出可直接运行的 PEFT 实现代码,最后通过与其他 PEFT 方法的对比表格帮助你判断何时该选 prompt tuning、何时该转向 LoRA 或全量微调。

Prompt Tuning 原理示意图:训练数据提炼出的 Soft Prompt Vector 与新的输入拼接后喂给冻结的语言模型

Prompt Tuning 是什么:只调整输入表示,不碰模型权重

传统的全量微调会更新模型的所有参数,当模型规模增大时,训练显存、存储成本与遗忘风险都会随之上升。smol-course 的 PEFT 章节导读 指出,PEFT 方法的可训练参数通常少于原始模型规模的 1%,从而可以在消费级硬件上微调、低成本地为多个任务各保存一份适配器,并加快训练与实验迭代。

Prompt tuning 正是其中"最轻"的一种实现:它通过修改输入表示而非模型权重来适配下游任务——在输入文本前追加一组可训练的连续向量(即 soft prompts),基座模型保持完全冻结。与使用自然语言 token 的离散提示(discrete prompt)不同,这些 soft prompt 是位于模型 embedding 空间中的连续向量,本身没有语义含义,而是在训练中通过反向传播(back-propagation)和梯度下降被优化,从而学会从冻结的模型中"诱导"出期望行为。

该方法出自论文 The Power of Scale for Parameter-Efficient Prompt Tuning(Lester et al., 2021):论文表明,随着模型规模增大,prompt tuning 与全量微调的竞争力差距迅速缩小——在约 100 亿(10B)参数规模上,prompt tuning 仅修改每任务几百个参数即可达到与全量微调相当的性能。

从多任务部署的角度看,这种设计尤其有吸引力:

  • 每个任务只需保存一个很小的 prompt 向量(通常仅几百个参数),而不是一整份模型副本,内存占用极小;
  • 任务切换只需直接替换 prompt 向量,无需重新加载模型,可实现近乎瞬时的切换。

训练过程:冻结基座,只优化软提示

soft prompt 的规模与初始化方式直接决定训练效果,原文档给出了两条核心经验:

  • 规模:soft prompt 通常包含 8 到 32 个 token。实践建议从较小的数量起步(如 8–16),只有任务复杂度确实需要时才逐步增加;
  • 初始化:可以选择随机初始化(RANDOM)或从已有文本初始化(TEXT)。基于任务相关文本的初始化通常显著优于随机初始化,因此初始化策略应当与目标任务的复杂度相匹配。

在训练过程中,只有 prompt 参数被更新,基座模型保持冻结。这种聚焦式的训练仍然使用标准的训练目标(例如语言建模损失),但由于可训练参数集中于一小段向量,需要特别注意两点:

  1. 学习率(learning rate):与全量微调不同,prompt tuning 通常可以使用更高的学习率并取得更好效果;
  2. 梯度行为:需要密切监控 prompt token 的梯度,避免梯度爆炸或消失导致软提示失效。

此外,建议在多样化的示例上定期做验证,确保软提示学到的行为在不同输入场景下都稳健。

用 PEFT 实现 Prompt Tuning

Hugging Face 的 PEFT 库将 prompt tuning 的落地封装为极简配置。以下是 smol-course 文档提供的完整示例(可直接复制运行,只需将 your-base-model 替换为真实模型名):

from peft import PromptTuningConfig, TaskType, get_peft_model
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载基座模型
model = AutoModelForCausalLM.from_pretrained("your-base-model")
tokenizer = AutoTokenizer.from_pretrained("your-base-model")

# 配置 prompt tuning
peft_config = PromptTuningConfig(
    task_type=TaskType.CAUSAL_LM,
    num_virtual_tokens=8,  # 可训练 token 数量
    prompt_tuning_init="TEXT",  # 从文本初始化
    prompt_tuning_init_text="Phân loại xem văn bản này là tích cực hay tiêu cực:",  # 任务相关初始化文本
    tokenizer_name_or_path="your-base-model",
)

# 创建可 prompt-tune 的模型
model = get_peft_model(model, peft_config)

各配置参数的含义与取值范围如下:

参数 作用 说明
task_type 指定模型架构的任务类型 因果语言模型使用 TaskType.CAUSAL_LM;序列分类可用 TaskType.SEQ_CLS
num_virtual_tokens 可训练软提示 token 的数量 通常取 8–32,建议从 8–16 起步,按任务复杂度递增
prompt_tuning_init 软提示初始化方式 "TEXT"(从文本初始化,效果通常更好)或 "RANDOM"(随机初始化)
prompt_tuning_init_text 初始化用的文本 仅在 TEXT 模式下生效,应选择与目标任务高度相关的文本
tokenizer_name_or_path 用于将初始化文本分词 一般与基座模型的 tokenizer 保持一致

调用 get_peft_model(model, peft_config) 后,模型内部只会把 soft prompt 向量标记为可训练,基座模型的全部参数被冻结。训练完成后,你保存的适配器本质上就是这一小段向量;推理或切换任务时,只需替换/加载对应的 prompt 向量即可。更完整的可运行微调流程(数据集加载、训练器配置、保存适配器)可参考仓库中的 LoRA 微调 Notebook——其中的 SFTTrainer 与 PEFT 配置的搭配方式同样适用于 prompt tuning。

与其他 PEFT 方法的对比:何时选 Prompt Tuning

原文档给出了 prompt tuning、LoRA 与全量微调三者的直观对比:

方法 参数 内存 任务切换
Prompt Tuning 非常低 最小 容易(直接替换向量)
LoRA 低 低 需要加载 adapter
全量微调 高 高 需要新的模型副本

从源码结构与文档表述可以总结出选择依据:

  • LoRA 通过在注意力层中引入低秩可训练矩阵来调整权重,可训练参数通常比全量微调减少约 90%,但切换任务时需要加载不同的 adapter 权重;
  • Prompt Tuning 的资源占用比 LoRA 更低,且任务切换无需加载权重、可即时完成,适合"一模型多任务"的高频切换场景;
  • 全量微调 性能上限最高,但资源需求大、每个任务都要保留独立模型副本。

因此,如果你的目标是多任务部署、资源受限环境、快速任务适应,prompt tuning 是极具性价比的起点;如果任务对权重级适配有更高要求(例如改变模型的输出风格或领域知识),则应转向 LoRA 乃至全量微调。

适用场景与局限

原文档明确了 prompt tuning 表现出色的四类场景:

  1. 多任务部署:每个任务一个向量,共享同一个冻结基座模型;
  2. 资源受限环境:可训练参数与内存占用均为最低档,消费级硬件即可训练;
  3. 快速任务适应:切换任务无需重载模型;
  4. 隐私敏感应用:基座模型权重完全不动,仅交换任务级软提示,便于隔离与审计。

同时必须清醒认识其局限:随着基座模型变小,prompt tuning 相对全量微调的竞争力会明显下降。smol-course 对此有明确结论——在 SmolLM2 这一量级的小模型上,prompt tuning 的相关性低于全量微调。仓库的 LoRA 微调 Notebook 以 HuggingFaceTB/SmolLM2-135M 为例进行适配训练(见 finetune_sft_peft.ipynb),这恰好印证了在 1–2B 以下的小模型上,权重级适配(LoRA/全量微调)往往比软提示更有效。因此,在 smol-course 的实操路径中,prompt tuning 更适合作为理解 PEFT 原理的入门技术,而主力微调手段应落在 LoRA 上。

下一步:进阶 LoRA 实战

在掌握 prompt tuning 的原理与实现后,建议继续学习仓库的 LoRA Adapters 教程 Notebook,了解如何用 LoRA 适配器在 SmolLM2 等模型上完成真正的权重级高效微调,包括 LoraConfig 的 r(秩)、lora_alpha(缩放系数)、lora_dropout 等参数的选择,以及如何使用 trl 的 SFTTrainer 完成端到端训练。

仓库内延伸阅读

登录后查看全文
smol-course