PEFT项目：如何修改已加载LoRA模型的modules_to_save配置

在基于PEFT（Parameter-Efficient Fine-Tuning）框架进行模型微调时，开发者经常会遇到需要修改已训练LoRA模型配置的情况。本文将以Whisper模型为例，深入探讨如何安全有效地调整已加载LoRA模型的modules_to_save参数设置。

背景与问题场景

当使用LoRA技术微调Whisper模型后，开发者可能需要对模型架构进行扩展，例如添加新的网络层。此时，需要将这些新增层纳入modules_to_save配置中，以确保它们的参数能够被正确保存到adapter_model.safetensors文件中。

常见误区是尝试在模型加载后直接修改peft_config中的modules_to_save属性，这种做法实际上不会生效，因为模型参数结构在加载时就已经确定。

解决方案详解

方法一：直接修改配置文件

最直接的方式是手动编辑checkpoint目录下的adapter_config.json文件：

1. 定位到保存的LoRA模型checkpoint目录
2. 打开adapter_config.json文件
3. 在modules_to_save数组中添加需要保存的新层名称
4. 保存修改后的配置文件
5. 正常加载模型

这种方法简单直接，适合快速实验和调试场景。

方法二：编程式配置修改（推荐）

更规范的解决方案是通过代码流程实现：

1. 首先加载PeftConfig

peft_config = PeftConfig.from_pretrained(checkpoint_path)

2. 修改配置对象的modules_to_save属性

peft_config.modules_to_save.extend(["new_layer1", "new_layer2"])

3. 使用修改后的配置加载模型

model = PeftModel.from_pretrained(base_model, checkpoint_path, config=peft_config)

这种方法更具可编程性，适合集成到自动化训练流程中。

技术原理深入

PEFT框架在加载LoRA模型时，会根据配置中的modules_to_save参数决定哪些层需要被特殊处理。这些层会被标记为可训练参数，并且它们的状态会被单独保存。如果在模型加载完成后才修改配置，框架无法重新初始化这些层的参数处理逻辑。

最佳实践建议

1. 在模型架构变更时，优先考虑通过配置修改而非事后调整
2. 对于生产环境，推荐使用方法二的编程式配置
3. 修改配置后，建议进行完整性检查，确认新增层已被正确纳入训练
4. 对于复杂架构变更，考虑创建全新的配置而非修改现有配置

通过遵循这些实践，开发者可以更灵活地利用PEFT框架进行模型微调和扩展，同时保证训练过程的稳定性和可复现性。