PEFT 参数高效微调方法全景指南:Prompt 提示、Layer Tuning 与 Adapter 适配器方法
PEFT 参数高效微调方法全景指南:Prompt 提示、Layer Tuning 与 Adapter 适配器方法
导读
本文以 PEFT 方法总览 为骨架,系统讲解 🤗 PEFT 库三大类参数高效微调(Parameter-Efficient Fine-Tuning)方法:基于提示(Prompt-based)的软提示方法、针对特定层类型的 Layer Tuning、以及通过注入少量可训练矩阵实现微调的 Adapter 适配器方法。读完本文,你将理解各类方法的定位差异、适用场景与能力边界,掌握如何基于任务特点选择方法、如何用最少的可训练参数逼近全量微调效果,并能直接依据仓库中的配置类与源码证据展开实践。
PEFT 的核心哲学是:在尽量训练少量参数的同时,追求与全量微调(full fine-tuning)相当的性能。可训练参数越少,表达力越弱,因此相同性能并不总是得到保证;作为交换,换来的是更低的显存占用、更少的算力开销,以及专家适配器快速热切换、更少遗忘已有知识等实用能力(见 overview 文档)。
为什么选择 PEFT:核心权衡与适用前提
在开始选择具体方法之前,需要先理解 PEFT 的共同代价与收益。PEFT 方法训练的参数越少,模型的表达能力越受限,因此"性能与全量微调相当"并非无条件成立。收益体现在三方面:
- 显存与算力更省:冻结绝大部分基座权重,只优化少量新增参数;
- 支持快速热切换:可在同一基座模型上挂载多个轻量适配器,按需切换;
- 减少灾难性遗忘:每个微调步骤在理论上都可能"反学习"(unlearn)已有知识,PEFT 用更少的参数扰动降低这种风险。
对于生成式模型(尤其是语言模型),总览文档 给出了如下决策路径:
- 先用提示工程(prompting)试探:例如在 prompt 中放置 few-shot 示例,如果模型已能胜任任务,可直接使用 Prompt-based 方法 学习最优 prompt,节省宝贵的 token;
- 提示方法不足时升级:改用 Layer Tuning 与 Adapter 方法。这两类方法一般比提示方法表达力更强,更接近全量微调效果;
- 务必测量知识保持率:由于每一步微调都可能遗忘旧知识,应始终评估任务学习与已有知识遗忘之间的平衡。
[!NOTE] 并非所有 PEFT 方法都是平等的,能力差异主要体现为四个方面(overview.md):
- 量化(Quantization):并非所有方法都支持量化基座模型;
- 特性(Features):并非所有方法都支持全部特性,例如多适配器、混合适配器推理、合并/解合并(merging/unmerging);
- 层类型(Layer types):线性层一般都被支持,但并非所有适配器方法都支持 embedding(扩展词表时需要)或卷积层(部分图像模型需要);
- 运行时(Runtime):PEFT 方法通常会带来运行时开销,部分开销可通过 合并适配器权重 消除。
Prompt-based 方法(Soft Prompt 软提示学习)
硬提示与软提示
Prompting 通过在输入中拼接描述任务、甚至演示任务示例的文本,让冻结的预训练模型"热身"到特定下游任务。它的价值在于:无需为每个下游任务单独训练一个完整模型,同一个冻结模型即可服务多个任务,训练与存储一组规模小得多的提示参数远比训练全部模型参数高效。
提示方法分为两类:
- 硬提示(hard prompts):手工构造的离散文本提示,由离散输入 token 组成。缺点是构造一个好的提示需要大量人工调优;
- 软提示(soft prompts):与输入嵌入拼接的可学习张量,可直接针对数据集优化。缺点是不可读——这些"虚拟 token"并不对应任何真实单词的嵌入。
PEFT 库支持多种软提示方法(P-tuning、Prefix Tuning、Prompt Tuning、Multitask Prompt Tuning 等),完整列表见 methods 目录 下的各方法文档。
三类主流软提示方法对比
从源码看,所有提示学习方法共享同一个配置基类:PromptLearningConfig 定义了 num_virtual_tokens、token_dim、num_transformer_submodules、num_attention_heads、num_layers 等公共字段,并重写 is_prompt_learning 属性返回 True;而普通 PeftConfig 的该属性默认返回 False(config.py)。这个属性决定了模型注入路径:提示学习方法必须通过 get_peft_model 注入,而 inject_adapter_in_model 会直接拒绝 prompt learning、adaption prompt 与 shadow 类配置(mapping.py)。
Prompt Tuning
Prompt Tuning 向输入添加一组任务相关的"虚拟 prompt",即嵌入空间中可训练的向量。虚拟 token 参数独立于冻结的预训练参数更新。与 Prefix Tuning 的关键区别:只有第一层的输入接收虚拟 token。
配置示例(来自官方文档):
from peft import PromptTuningConfig, PromptTuningInit, get_peft_model
prompt_tuning_init_text = "Classify if the tweet is a complaint or no complaint.\n"
peft_config = PromptTuningConfig(
task_type="CAUSAL_LM",
prompt_tuning_init=PromptTuningInit.TEXT,
num_virtual_tokens=len(tokenizer(prompt_tuning_init_text)["input_ids"]),
prompt_tuning_init_text=prompt_tuning_init_text,
tokenizer_name_or_path="bigscience/bloomz-560m",
)
model = get_peft_model(model, peft_config)
model.print_trainable_parameters()
# "trainable params: 8,192 || all params: 559,222,784 || trainable%: 0.0014648902430985358"
两个关键决策:num_virtual_tokens(加入多少虚拟 token,决定可训练参数量)与虚拟 token 的初始化方式(通过 prompt_tuning_init 与 prompt_tuning_init_text 指定)。上面的例子中 trainable% 低至 0.0015%,可见其参数效率之高。
P-Tuning
P-tuning 专为自然语言理解(NLU)任务设计,可应用于所有语言模型。它的特点与 Prefix Tuning 显著不同:
- 提示 token 可以插入输入序列的任意位置,不限于开头;
- 提示 token 只添加到输入,而不是每一层;
- 引入 anchor token(锚点 token)可提升性能,因为它们标识了输入序列中某一部分的特征。
P-tuning 用一个 prompt encoder(双向 LSTM)优化提示参数,省去了人工设计提示的负担。配置示例:
from peft import PromptEncoderConfig, get_peft_model
peft_config = PromptEncoderConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, encoder_hidden_size=128)
model = get_peft_model(model, peft_config)
model.print_trainable_parameters()
# "trainable params: 300,288 || all params: 559,514,880 || trainable%: 0.05366935013417338"
Prefix Tuning
Prefix Tuning 在输入序列前拼接一组任务特定的向量,并插入到模型的所有层。与 Prompt Tuning 相似,但参数分布范围更广;前缀参数由一个独立的 FFN(前馈网络)优化而非直接训练软提示——直接训练会导致不稳定并损害性能,FFN 在更新完软提示后被丢弃。
from peft import PrefixTuningConfig, get_peft_model
peft_config = PrefixTuningConfig(task_type="CAUSAL_LM", num_virtual_tokens=20)
model = get_peft_model(model, peft_config)
model.print_trainable_parameters()
# "trainable params: 983,040 || all params: 560,197,632 || trainable%: 0.1754809274167014"
三个方法的可训练参数量随 num_virtual_tokens 和模型结构变化,从上面的示例即可直观看到:同一模型上 Prompt Tuning 仅需约 8K 参数,P-Tuning 约 300K,Prefix Tuning 约 983K。
Prefix Tuning 的初始化技巧:默认使用随机初始化;也可初始化为接近 no-op(置零),这样 KV-cache 注入的前缀从一开始影响更小,降低训练方差。PEFT 还提供了 initialize_kv_prefix_from_text 工具,可从已有 KV cache 前缀(例如 prompt/语料的前 p 个 token)初始化适配器——仅当 prefix_projection=False(默认值)时支持,因为此时学到的参数本身就是 KV 前缀:
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PrefixTuningConfig, get_peft_model, initialize_kv_prefix_from_text
base = AutoModelForCausalLM.from_pretrained("gpt2")
tok = AutoTokenizer.from_pretrained("gpt2")
peft_cfg = PrefixTuningConfig(task_type="CAUSAL_LM", num_virtual_tokens=20, prefix_projection=False)
model = get_peft_model(base, peft_cfg)
initialize_kv_prefix_from_text(
model,
tok,
text="...a long context with at least num_virtual_tokens tokens...",
use_chat_template=False,
)
注意:初始化文本必须足够长,能产生至少 num_virtual_tokens 个 token,否则初始化会失败。经验法则:先从中性短句(如 "Question: ")开始;若无效,改用包含任务相关性的更长序列(工程化的 prompt);若完全无法使用初始化文本,使用无投影的 zero init 快速验证 Prefix Tuning 是否可行。
注意:对于 encoder-decoder(seq2seq)模型,前缀只应用于 decoder,这与论文规格不完全一致(见 prefix_tuning.md)。在这类架构上仍可微调,但性能可能欠佳,可考虑其他 PEFT 方法。
Multitask Prompt Tuning 与 Adaption Prompt
除上述三种主流方法外,软提示家族还包括:
- Multitask Prompt Tuning:将 Prompt Tuning 扩展到多任务场景,通过共享与任务特定参数的组合同时学习多个任务;
- Adaption Prompt:作为
PeftType.ADAPTION_PROMPT登记在 peft_types.py 中,与PROMPT_TUNING、P_TUNING、PREFIX_TUNING、MULTITASK_PROMPT_TUNING等并列。
这些方法都实现了 is_prompt_learning = True,因此注入路径与上述方法一致。完整方法清单可查阅 methods 目录 下的目录索引。
Layer Tuning 针对性微调特定层
Layer Tuning 归类的是只针对某一类型层或某一层的特定方面的方法,区别于作用于模型输入的提示方法,也区别于扩展既有权重、通常与层类型无关(针对线性层或卷积层)的适配器方法。
- LayerNorm Tuning:只微调模型中的 LayerNorm 层参数。论文在 13B 规模模型上的实验显示,相比 LoRA,在五个多模态任务上平均性能提升超过 20%,同时可训练参数减少 41.9%、GPU 显存占用下降 17.6%。默认微调模型内所有 layernorm 层,但也可以通过
LNTuningConfig的target_modules指定其他层类型(如MLP或Attention层); - Trainable Tokens:只针对 embedding 矩阵中的特定 token 索引进行训练。相比全量训练 embedding 矩阵,RAM 与磁盘占用显著更低——以 embedding 矩阵较大的
gemma-2-2b为例,初步基准显示相比全量微调 embedding 可节省约 4 GiB 显存。注意:该方法不会自动添加 token,需要自己向 tokenizer 添加 token 并相应 resize 模型的 embedding 矩阵;它也可以与 LoRA 层联合使用(详见 lora.md 的 Efficiently train tokens alongside LoRA 一节)。
保存模型时的一个细节:添加新 token 后调用 save_pretrained 或 get_peft_model_state_dict,可能会因 embedding 矩阵被 resize 而保存完整 embedding 矩阵而非差值;若你确认没有通过其他方式修改 embedding 矩阵,可设置 save_embedding_layers=False 以节省存储空间。
Adapter Methods 适配器方法
Adapter 方法可以理解为:向现有模型添加相对较小的可训练矩阵用于微调。目标是以极少的可训练参数"引导"大模型朝向目标任务,节省显存与算力。
LoRA:低秩分解适配器的代表
LoRA(Low-Rank Adaptation) 是 Adapter 方法中最常见、也是最流行的 PEFT 方法,是入门 PEFT 的首选起点。它最初为大型语言模型设计,但由于其高效性,也成为扩散模型(diffusion models)微调的流行选择。
LoRA 将权重更新 用两个更小的矩阵(称为 update matrices)通过低秩分解表示。原始权重矩阵保持冻结、不接收任何更新;最终结果由原始权重与新增适配权重组合而成。你也可以将适配器权重合并回基座模型以消除推理延迟。LoRA 的核心优势:
- 大幅减少可训练参数,使微调更高效;
- 预训练权重保持冻结,可在其上构建多个轻量、可移植的 LoRA 模型服务不同下游任务;
- 与其他参数高效方法正交,可组合使用;
- LoRA 微调后的模型性能与全量微调相当。
从原理上说,LoRA 可应用于神经网络中任意权重矩阵子集;但为简洁与参数效率,通常只应用于 Transformer 的注意力块。可训练参数数量由 update matrices 的尺寸决定,主要取决于秩 r 与原始权重矩阵的形状。
最小可运行示例:
from peft import LoraConfig, get_peft_model
config = LoraConfig(
r=16,
lora_alpha=16,
target_modules=["query", "value"],
lora_dropout=0.1,
bias="none",
modules_to_save=["classifier"],
)
model = get_peft_model(model, config)
model.print_trainable_parameters()
# "trainable params: 667,493 || all params: 86,543,818 || trainable%: 0.7712775047664294"
关键参数:
r(rank):低秩矩阵的秩,决定可训练参数量与学习容量——秩越高参数越多、学习容量越大;lora_alpha:缩放因子;bias:取值none、all或仅训练 LoRA bias 参数;modules_to_save:除 LoRA 层外需要训练并保存的模块(如分类任务中随机初始化的分类头classifier/score)。
QLoRA 风格训练:默认 LoRA 配置只向每个注意力块的 query 和 value 层添加可训练权重;而 QLoRA 向 Transformer 的所有线性层添加可训练权重。像 QLoRA 那样覆盖全部线性层时,直接设置 target_modules="all-linear" 即可,比逐模块指定名称更省事且不受架构差异影响:
config = LoraConfig(target_modules="all-linear", ...)
LoRA 权重初始化(init_lora_weights 参数):默认使用 Kaiming-uniform 初始化 A 矩阵、零初始化 B 矩阵,使 LoRA 初始为恒等变换(no-op),在不严重干扰既有模型的情况下逐步学习新行为。其他选项包括:
"gaussian":A 用高斯分布、B 为零(Diffusers 的初始化方式);False:非恒等变换,仅用于调试与测试;"pissa"/"pissa_niter_[iterations]":PiSSA 使用主奇异值/奇异向量初始化,收敛更快、效果更优,还可降低 QLoRA 的量化误差;完整 SVD 需数分钟,快速 SVD(pissa_niter_)仅需数秒;"mica":MiCA(Minor Component Adaptation)使用次奇异分量初始化(B = U[:, -r:]、A = 0),初始输出与基座完全一致,且可训练参数约为 LoRA 的一半,适合持续预训练/领域自适应预训练,目前支持nn.Linear与nn.Embedding;"corda":CorDA 基于下游任务上下文做任务感知分解,支持指令预览模式(IPM)与知识保持模式(KPM),需配合CordaConfig与preprocess_corda使用;"olora":OLoRA 使用 QR 分解初始化,先对基座权重做平移再训练,显著提升稳定性与收敛速度;"eva":EVA 对每层输入激活做 SVD,用右奇异向量初始化,并依据"解释方差比"跨层自适应分配秩,需配合EvaConfig(如rho=2.0)与initialize_lora_eva_weights使用;- LoftQ:量化基座(QLoRA)时优先考虑,初始化 LoRA 权重以最小化量化误差,详见 quantization 指南;
use_rslora=True:rsLoRA,将缩放系数从lora_alpha/r改为lora_alpha/math.sqrt(r),稳定适配器并提升高秩r的性能潜力;- LoRA-GA:通过梯度估计的 SVD 初始化,使适配器更贴近全量微调方向以加速收敛,需先用
preprocess_loraga进行梯度估计阶段(通常 64-128 个 batch)。
LoRA 的进阶训练场景:
- 内存高效层复制(layer_replication):通过共享底层权重复制层来扩展模型(如 SOLAR 论文中 7B→10B),复制后的层不额外占用内存(共享权重),只需适配器权重的内存,且支持在复制后的层上挂 LoRA 适配器继续微调。配置示例:
LoraConfig(layer_replication=[[0,4], [2,5]], ...)——假设原模型 5 层[0,1,2,3,4],将产生 7 层[0,1,2,3,2,3,4],遵循 mergekit 的 pass-through merge 约定(start 包含、end 排除); - rank 与 alpha 的细粒度控制:通过
rank_pattern与alpha_pattern字典按层指定不同的 rank/alpha,键可为正则表达式(PEFT 会自动追加$标记结尾)。例如rank_pattern={"^foo": 42}只匹配名为foo的顶层模块,不匹配module.foo; - 自动探测可行 target modules:
peft.helpers.find_kappa_target_modules依据 KappaTune 论文的条件数策略扫描每个nn.Linear模块(以及 MoE 专家权重这类融合 3Dnn.Parameter),选择最各向同性(条件数 κ 最低)的层作为微调目标; - 直接针对
nn.Parameter(target_parameters):许多 MoE 层(如 Llama-4、Mixtral、Qwen3-MoE)的专家权重是nn.Parameter而非nn.Linear,需要用target_parameters=['feed_forward.experts.gate_up_proj', 'feed_forward.experts.down_proj']来定位。注意这会在推理时带来明显运行时开销(PEFT 会为每个专家物化 LoRA 贡献),因此推荐合并权重(model.merge_adapter()或model.merge_and_unload())。目前支持 2 维与 3 维参数(3 维时第 0 维为专家维度),多适配器场景下所有适配器必须针对同一组参数; - 与 Trainable Tokens 结合:
trainable_token_indices参数允许在微调 LoRA 层的同时训练指定的 token 索引(如新添加的特殊 token),只训练指定 token、不动其他 token 的 embedding,既省显存又不丢弃既有 token 嵌入的已学上下文,底层复用TrainableTokensModel的层实现。官方示例中(gemma-2-2b上新增 6 个 token)相比全量微调 embedding(约 16,500MB 显存)可节省约 1GB VRAM; - 权重绑定(weight tying):
ensure_weight_tying参数控制 PEFT 是否显式保持embed_tokens与lm_head这类绑定权重的适配器侧更新保持绑定。该逻辑部分依赖层命名约定("embed_tokens"、"lm_head"),若不遵守约定无法保证正常工作。经验法则:若基座权重本就绑定且希望保持绑定,传ensure_weight_tying=True;若基座权重未绑定,该参数无法强行绑定,只会告警;对trainable_token_indices,绑定层必须使用相同 token 索引(不同索引会直接报错)。各modules_to_save/target_modules/trainable_token_indices组合的详细行为矩阵见 lora.md。
LoRA 专项优化器(见 optimizers 目录):
- LoRA-FA(lorafa.py):固定矩阵 A、只调 B,降低激活内存消耗且内存不随 rank 增长,可通过
create_lorafa_optimizer创建; - LoRA+(loraplus.py):为 A、B 矩阵设置不同学习率,可将微调速度提升至 2 倍,通过
create_loraplus_optimizer创建。
LoRA 后处理(Post-Training):
- 合并到基座:
merge_and_unload()将适配器权重合并进基座并移除适配器内存,返回独立模型(非原地操作,必须赋值使用);若需保留权重副本以便日后解合并或换适配器,用merge_adapter()配合unmerge_adapter(); - 加权合并多 LoRA:
add_weighted_adapter(adapters=[...], weights=[...], adapter_name=..., combination_type=...)按用户权重方案将多个 LoRA 合并为新适配器(combination_type支持多种方式,注意"svd"在torch.float16/bfloat16下不受支持); - 入侵维度缩减(intruder dimension reduction):
peft.tuners.lora.intruders.reduce_intruder_dimension依据"LoRA vs 全量微调等价性幻觉"论文的缓解方案,削减 LoRA 引入的与已学权重相关性很低的额外维度,减少对既有知识的遗忘;这是任务精度与遗忘之间的权衡,默认参数不保证对所有适配器最优,建议准备基准进行测量。
LoRA 推理特性:
- 多适配器同批推理:通过
adapter_names参数可在同一 batch 中为不同样本指定不同适配器(特殊字符串"__base__"表示基座模型)。注意它只支持推理不支持训练;disable_adapter()上下文优先于adapter_names;使用前需解合并所有适配器;当前与 DoRA 不兼容(需use_dora=False);modules_to_save目前仅支持Linear、Embedding、Conv2d、Conv1d层; - Activated LoRA(aLoRA):通过
alora_invocation_tokens指定调用序列(token id 列表),仅在从调用序列开始的 token 上激活适配器权重,此前 token 的 KV cache 可与基座模型互换复用,适合"基座模型为主、aLoRA 执行链内专项任务"的推理管线。仅支持CAUSAL_LM,权重不可合并,暂不支持 beam search,通常需要比 LoRA 更高的 rank(r=32是不错起点); - Tensor Parallelism(TP):基座模型以
tp_plan加载时,PEFT 自动检测各目标模块的 TP 配置并为适配器权重添加正确的钩子参与张量并行计算,保存/加载照常工作(checkpoint 跨设备数可移植)。要求transformers >= 5.4.0。
其他低秩适配器变体
LoRA 的低秩分解思路还有多种实现方式,PEFT 支持若干变体:
- 部分方法是 LoRA 的直接变体,归入 LoRA 文档记录(如 DoRA、QLoRA 训练模式、rsLoRA、PiSSA、MiCA、CorDA、OLoRA、EVA、LoRA-GA、LoRA-FA 等);
- 另一些差异足够大、被单列为独立方法:
LoHa(Low-Rank Hadamard Product)(loha.md):用更多低秩矩阵并通过 Hadamard 乘积组合来近似大权重矩阵,比 LoRA 更参数高效且性能可比。最初为联邦学习(FedPara)提出,作为通用 PEFT 方法效果良好,尤其流行于 Stable Diffusion 等图像生成模型的微调。
LoKr(Low-Rank Kronecker Product)(lokr.md):用两个低秩矩阵通过 Kronecker 积近似权重矩阵,还提供可选的第三个低秩矩阵以获得更精细的控制。Kronecker 积形成块矩阵,能保留原始权重矩阵的秩;另一个好处是可通过堆叠矩阵列向量化,避免完整重建 从而加速。
AdaLoRA(Adaptive Low-Rank Adaptation)(adalora.md):根据重要性分数在训练过程中自适应地分配不同层间的预算(rank),将参数预算导向更重要的权重矩阵。
非低秩适配器:OFT/BOFT、MiSS、IA3
低秩适配器只是适配器的一种表达形式,PEFT 还实现了许多其他类型的适配器:
正交微调(OFT / BOFT):使用适配器权重的正交分解实现小体积参数。OFT 学习一个正交矩阵作用于特征向量以避免特征坍缩;BOFT 进一步引入 butterfly 因子分解,以更少的参数实现正交变换,且是直接归入该族的新兴方法。相关的 OSF(Orthogonal Subspace Fine-tuning) 专为持续学习设计,将参数更新约束在与先前重要方向正交的子空间内,在不增加参数的前提下防止灾难性遗忘。
MiSS(Matrix Shard Sharing)(miss.md):仅需单个可训练矩阵,通过分片(shard)共享机制在性能与计算效率间取得平衡——将权重矩阵分解为多个片段矩阵并共享这些分片以节省内存。支持三种初始化模式(init_weights 参数):True(默认标准初始化)、"bat"(跨分片非线性更新,效果更好但约慢两倍、更耗内存)、以及关闭。当性能优先时选 "bat",效率优先时选默认模式。
IA3(Infused Adapter by Inhibiting and Amplifying Inner Activations)(ia3.md):引入三个学习向量 lv、lk、lff 来重新缩放自注意力与 encoder-decoder 注意力层的 key、value 以及逐位置前馈网络的中间激活。相比 LoRA 的学习低秩矩阵更新,学习向量使可训练参数数量小得多(例如 T0 模型上 IA3 仅约 0.01% 可训练参数,而 LoRA 超过 0.1%),且不增加推理延迟(适配器权重可合并进基座)。
from peft import IA3Config, TaskType, get_peft_model
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("HuggingFaceTB/SmolLM-135M")
peft_config = IA3Config(
task_type=TaskType.CAUSAL_LM,
target_modules=["k_proj", "v_proj", "down_proj"],
feedforward_modules=["down_proj"],
)
model = get_peft_model(model, peft_config)
model.print_trainable_parameters()
IA3 vs LoRA 的选择:当需要尽可能小的适配器体积(存储受限部署)或希望用更少的可训练参数快速收敛时,IA3 是强候选;当需要 LoRA 变体生态(DoRA、QLoRA 等)或最广泛测试、社区支持最多的方案时,LoRA 更合适。
从源码理解方法的统一注入机制
所有 PEFT 方法共享统一的配置与注入骨架:
- 配置层:PeftConfig 是基类,定义
peft_type、task_type、inference_mode与base_model_name_or_path;PromptLearningConfig在此基础上增加虚拟 token 相关字段并令is_prompt_learning=True(config.py); - 登记层:mapping.py 中由
register_peft_method填充四张映射表:PEFT_TYPE_TO_CONFIG_MAPPING、PEFT_TYPE_TO_TUNER_MAPPING、PEFT_TYPE_TO_MIXED_MODEL_MAPPING、PEFT_TYPE_TO_PREFIX_MAPPING;get_peft_config依据字典中的peft_type键查表构造配置对象(mapping.py); - 注入层:
get_peft_model是通用入口;inject_adapter_in_model则直接修改原模型实例(原地注入适配器层并返回原实例),但会拒绝 prompt learning、adaption prompt、shadow 以及共享状态(uses_shared_state)的 tuner(mapping.py)。
从 PeftType 枚举(peft_types.py)可以看到软提示方法族(PROMPT_TUNING、MULTITASK_PROMPT_TUNING、P_TUNING、PREFIX_TUNING、ADAPTION_PROMPT)在类型系统中的清晰归属。仓库 tuners 目录 下每个子目录对应一种方法,包含 config/model/init 等文件,例如 lora、p_tuning、prefix_tuning、prompt_tuning、ln_tuning、trainable_tokens、ia3、oft、boft、miss 等,读者可沿此路径深入任意方法的底层实现。
方法选型速查与资源索引
| 需求场景 | 推荐方法 | 参考文档 |
|---|---|---|
| 参数量最小、只需软提示 | Prompt Tuning / P-Tuning / Prefix Tuning | prompt_tuning.md、p_tuning.md、prefix_tuning.md |
| 只微调特定层 | LayerNorm Tuning / Trainable Tokens | layernorm_tuning.md、trainable_tokens.md |
| 通用入门、生态最广 | LoRA | lora.md |
| 存储受限、追求最小体积 | IA3 | ia3.md |
| 图像生成模型微调 | LoHa / LoKr | loha.md、lokr.md |
| 显存极度受限的矩阵分解 | MiSS(shard sharing) | miss.md |
| 持续学习/防遗忘 | OSF、MiCA、intruder reduction | osf.md、lora.md |
全部方法的完整清单、API 文档与基准对比入口见 methods 目录 与 package_reference 目录;每种方法的配置类与模型类(如 LoraConfig/LoraModel、PromptEncoderConfig/PromptEncoder、PrefixTuningConfig/PrefixEncoder、IA3Config/IA3Model、LNTuningConfig/LNTuningModel、TrainableTokensConfig/TrainableTokensModel 等)均可从对应文档的 API 章节跳转查阅。仓库中 method_comparison 目录 还提供了各方法在 MetaMathQA、image-gen 等基准上的实验结果 JSON(如 lora--llama-3.2-3B-rank32.json),可作为方法间对比的参考数据。
实践建议:从 LoRA 入手熟悉 PEFT 的整体工作流(get_peft_model → 训练 → save_pretrained / merge_and_unload),再依据任务约束(显存、存储、延迟、防遗忘需求)沿上述速查表横向扩展,利用 quicktour 与 示例目录 中的各方法微调脚本快速上手。