PEFT项目中LoRA配置更新的注意事项

在Hugging Face的PEFT（Parameter-Efficient Fine-Tuning）项目中，使用LoRA（Low-Rank Adaptation）进行模型微调时，开发者需要注意一个重要特性：当修改LoRA配置后，已创建的PEFT模型不会自动更新其参数结构。这一行为源于PEFT模型对基础模型的就地修改特性。

问题现象

当开发者首次调用get_peft_model()函数时，PEFT会修改基础模型的结构，添加LoRA适配层。此时如果开发者修改LoRA配置（如调整target_modules），再次调用get_peft_model()时，新的配置虽然会被记录在active_peft_config中，但模型的参数结构不会相应更新。

技术原理

这一现象的根本原因在于PEFT的工作机制：

1. get_peft_model()会直接修改基础模型的结构，而非创建完整副本
2. 首次调用后，基础模型已被添加了LoRA层
3. 后续配置变更时，由于已有LoRA层已存在，PEFT不会重新初始化模型结构

解决方案

开发者可以采用以下两种方式处理配置变更：

1. 重新加载基础模型：每次修改配置后，重新从预训练模型加载基础模型

base_model = AutoModelForTokenClassification.from_pretrained(...)
peft_model = get_peft_model(base_model, new_config)

2. 创建模型副本：在首次调用前创建基础模型的深拷贝

import copy
model_copy = copy.deepcopy(base_model)
peft_model = get_peft_model(model_copy, config)

最佳实践建议

1. 在Jupyter Notebook等交互式环境中，建议采用"实验-重置"的工作流
2. 对于生产环境，应在脚本中明确定义配置，避免运行时修改
3. 考虑将配置与模型版本绑定，确保实验可复现性

PEFT团队已意识到这一特性可能带来的困惑，计划在文档中增加相关说明，帮助开发者更好地理解和使用这一参数高效微调工具。