PEFT项目中IA3训练时适配器配置保存问题分析

问题背景

在使用PEFT(Parameter-Efficient Fine-Tuning)库进行IA3(Infused Adapter by Inhibiting and Amplifying Inner Activations)训练时，开发者遇到了一个配置保存异常的问题。具体表现为训练完成后保存的adapter_config.json文件中，feedforward_modules字段的内容与预期不符，导致模型无法正常加载。

问题现象

在训练过程中，开发者通过循环方式构建了target_modules和feedforward_modules列表，其中包含了36个Transformer块中的注意力层和前馈网络层。然而，训练完成后保存的配置文件中：

1. target_modules字段仅保存了简化的模块名称("layernorm_qkv.1", "ffn.1", "ffn.3")
2. feedforward_modules字段却保存了完整的模块路径("transformer.blocks.1.ffn.1"等)

这种不一致导致在加载模型时出现"feedforward_modules应该是target_modules的子集"的错误。

技术分析

IA3是一种参数高效的微调方法，它通过在学习向量中注入可训练的标量来调整预训练模型的行为。在实现上需要：

1. 指定目标模块(target_modules)：这些模块将被IA3方法修改
2. 指定前馈模块(feedforward_modules)：这些是目标模块中特别标记为前馈网络的子集

问题的根源在于配置保存逻辑存在缺陷：

• 在保存配置时，target_modules字段被过度简化
• 而feedforward_modules字段则保留了完整路径
• 这种不对称的处理导致了加载时的验证失败

解决方案

临时解决方案是手动编辑保存的adapter_config.json文件：

1. 将feedforward_modules字段内容简化为["ffn.1", "ffn.3"]
2. 确保这些值确实是target_modules的子集

这种修改后，模型可以正常加载并产生预期结果。不过这只是临时解决方案，根本解决方案需要修复PEFT库中的配置保存逻辑。

最佳实践建议

在使用PEFT进行IA3训练时，建议：

1. 仔细检查保存的adapter_config.json文件内容
2. 确保target_modules和feedforward_modules的命名风格一致
3. 如果遇到类似问题，可以尝试手动统一两个字段的模块命名方式
4. 关注PEFT库的更新，该问题已被确认并将在后续版本修复

总结

这个问题揭示了参数高效微调方法实现中的一个重要细节：配置保存的对称性和一致性对于模型的可重现性至关重要。开发者在自定义模块选择时需要特别注意配置文件的生成逻辑，确保训练和推理阶段的行为一致。随着PEFT库的持续完善，这类问题将得到更好的处理。